Institución educativa femenina fundada en 1551 por el cardenal Juan Martínez Siliceo. Por disposición testamentaria de su fundador, el Colegio se situó bajo el patronazgo de los arzobispos de Toledo y el rey de España, una responsabilidad que Felipe II asumió en 1560.

Según las constituciones del Colegio el objetivo era educar a niñas, que entraban en la institución con una edad de siete a diez años, en doctrina cristiana con el objetivo de conducirse rectamente en su posterior vida como esposas. Acogería en su seno a cien doncellas de acreditada sangre limpia y procedentes del arzobispado de Toledo; cada año se concederían diez dotes para aquellas que quisieran contraer matrimonio. La institución mantuvo sus funciones educativas hasta bien entrado el siglo XX; en el último tercio del siglo XIX se elaboró un nuevo reglamento interno que trataba de acomodar al colegio a la realidad educativa y social del momento. En la década de los 90 se llegó a un acuerdo con la Junta de Castilla la Mancha para convertirlo en residencia universitaria femenina.

El Colegio se instaló en un principio en una antigua casona palacio de la parroquia de San Román y que en el siglo XV había sido propiedad del conde de Paredes, Rodrigo Manrique. Ya en el propio siglo XVI se acometió una ampliación del Colegio para lo cual se compraron algunas casas del duque de Francavilla. El edificio mostraba graves fallos estructurales en el siglo XVIII, por lo que se afrontó una reforma a cargo de José Hernández Sierra y Ventura Rodríguez. Solo se mantuvo en la portada el relieve obra de Juan Bautista Vázquez el Viejo. Por manda testamentaria, el fundador se hizo enterrar en la capilla del Colegio

El fondo documental del Colegio de Nuestra Señora de los Remedios se custodia actualmente en el Archivo General de Palacio.