Um dos aspectos mais interessantes é que a própria arquitetura faz parte da obra do artista. Affandi projetou os edifícios do complexo, utilizando formas extremamente particulares. O elemento mais famoso é o telhado curvo, que lembra uma folha de bananeira, criando uma arquitetura orgânica que se integra ao jardim e à paisagem tropical de Yogyakarta. A primeira galeria foi concluída em 1962 e o museu foi oficialmente inaugurado em 15 de dezembro de 1973.

O complexo não funciona apenas como uma galeria de pinturas. Ele preserva também a residência de Affandi e de sua família, incluindo sua antiga área privada. O museu informa que o quarto do artista permanece preservado no andar superior de uma das construções, permitindo ao visitante conhecer uma dimensão muito mais íntima de sua vida.

As galerias apresentam aproximadamente 300 pinturas e desenhos de Affandi, abrangendo diferentes períodos de sua carreira, desde os trabalhos iniciais até suas viagens pela Índia, Europa e América. O acervo também inclui esculturas, esboços, objetos pessoais, ferramentas de pintura e outros elementos relacionados à sua trajetória.

O conjunto também possui espaços relacionados à produção artística. Além das galerias e da residência, há áreas de restauração, armazenamento e atividades de pintura, incluindo um espaço atualmente utilizado para oficinas. Assim, o complexo preserva não apenas a memória do artista, mas também a tradição de produção artística associada ao local.

Outro aspecto interessante é que Affandi colecionava trabalhos de outros artistas. O museu conserva obras de nomes como Basoeki Abdullah, S. Sudjojono, Nyoman Tjokot e Kartono Yudhokusumo, ampliando o espaço de uma simples retrospectiva individual para um pequeno panorama da arte moderna indonésia.