Construido junto al Monasterio de San Jerónimo el Real, eran unas estancias palaciegas para el aposento de la familia real durante sus estancias en la villa de Madrid. Fueron mandadas construir por los Reyes Católicos, y posteriormente ampliadas por Felipe II ya con la denominación de "cuarto real" según el modelo del Escorial, donde desde sus habitaciones privadas se tuviera acceso directo a la Iglesia.

En época de Felipe IV, la zona fue ampliada y remodelada, dando origen a una nueva construcción palaciega que pasará a denominarse "Palacio del Buen Retiro".