En 1563 se fundó en el convento de la Victoria de Madrid la Cofradía de Nuestra Señora de la Soledad y las Angustias que recogía a los convalecientes de los Hospitales y Asilos de la villa. En 1572 la Cofradía asumió la tarea de recoger a los niños expósitos y por ello, en 1579 adquirió una serie de edificios entre las actuales calles de Preciados y el Carmen para poder albergarlos. Ya en el siglo XVII, en 1651, la Cofradía desapareció pero la Inclusa se puso bajo la advocación de la Cofradía de Nuestra Señora de la Caridad y San José. A finales del siglo XVIII y tras la creación de la Junta de Damas de Honor y Mérito fue esta institución la que asumió el control de la Inclusa.

En 1801 la Inclusa se trasladó a la Galera Vieja, en la actual calle Barbieri, de ahí pasó a la calle de la Libertad y en 1807 a la calle Embajadores donde se encontraba el Colegio de la Paz. En 1929 se construyó un edificio de nueva planta, propiedad de la Junta de damas de Honor y Mérito en la calle O'Donell donde también se erigió la Maternidad Provincial.