La actual sede central del museo, fue creada como Hospital de San Carlos en el siglo XVIII, obra que realizó el arquitecto Francisco Sabatini. La fundación del hospital fue una iniciativa de Carlos III enmarcada en un conjunto de medidas para dotar a Madrid de infraestructuras de higiene y policía urbana. Aunque la muerte del monarca en 1788 dejó el edificio inacabado, pronto comenzó a funcionar como hospital, permaneciendo en activo hasta 1965. Tras años en estado de abandono y diversas amenazas de derribo, su declaración como Monumento Histórico-Artístico en 1977 permitió su supervivencia y uso público.

En 1980, Antonio Fernández Alba (Salamanca, 1927) emprendió una remodelación para su uso con fines expositivos. En 1986 el edificio comienza a albergar las actividades expositivas de centro de arte para, pocos años después, en 1990, convertirse en el actual Museo.