Durante la segunda mitad del siglo XVI y la primera del XVII los jesuitas se instalaron en varios colegios de Galicia repartidos de forma estratégica: Orense, Pontevedra, Santiago, A Coruña y Monforte de Lemos, en 1593. Fundado por Don Rodrigo de Castro, hijo de la III Condesa de Lemos Doña Beatriz de Castro, decidió que fuese regentado por los jesuitas bajo la advocación de Nuestra Señora de La Antigua, de la que era muy devoto. En la fachada del edificio se puede leer la inscripción en latín: Rodrigo de Castro Cardenal Arzobispo de Sevilla, dona a la Compañía de Jesús, para uso de la juventud, templo y colegio consagrados a la Virgen María. Las obras comenzaron a finales del XVI y se acabaron entrado el siglo XX, cuando estaba ya en manos de los padres Escolapios. El conjunto del edificio que alberga la parte dedicada al colegio y la destinada al culto es de estilo renacentista y de traza herreriana, con un gran templo en el centro y dos cuerpos laterales completamente simétricos. Por su arquitectura y grandiosidad también es conocido popularmente como el Escorial gallego por el parecido con este edificio y alberga en él claustro, patio, iglesia y colegio. El retablo de la iglesia, iniciado en 1625 y de estilo barroco, está dedicado a la Virgen María y en él aparecen esculpidas varias personalidades y escenas por las que es conocido el centro: la Virgen de la Antigua, San Ignacio de Loyola y escenas como la Adoración de los Reyes, la Anunciación o la Visitación de la Virgen a su prima Santa Isabel. Los jesuitas regentaron el colegio hasta su expulsión en 1767, momento en el que se decide también eliminar del edificio todos los símbolos que recordaban a la Compañía. Posteriormente fue adquirido por la Casa de Alba, heredera en el siglo XVIII del Condado de Lemos, y desde 1873 fue cedido a los Padres Escolapios que han continuado la labor de enseñanza en el centro. Hoy cuenta también con un destacado museo que está ubicado en la antigua sacristía.