La sede del Real Conservatorio Superior de Música, desde 1990, es un antiguo pabellón del siglo XVIII rehabilitado por los arquitectos Manuel e Ignacio de las Casas y Jaime Lorenzo. Era anteriormente parte del Hospital Clínico de San Carlos (hoy el Museo Reina Sofía), anejo a la vieja Facultad de Medicina. A principios del siglo XX, el edificio ya había sido reformado por el arquitecto D. Cesáreo Iradier para servir de Clínico, pero en el siglo XVIII se proyectó para formar parte del Gran Hospital de Atocha. El pabellón fue separado definitivamente del Hospital de San Carlos en 1929 para dar paso a la calle de Santa Isabel, quedando el lugar como hoy se encuentra.