Fundado mediante testamento otorgado el 24 de octubre de 1649 por Antonio Vergas de Carvajal. A su muerte en 1659, comenzó la construcción del edificio que lo albergaría, el cual sería inaugurado en el año 1662.

La institución estuvo dirigida por un rector eclesiástico y tenía por objeto recoger huérfanos, educarlos en las primeras letras y conseguirles un oficio o una carrera.

A finales del siglo XIX, la institución se reconvirtió en escuela de instrucción primaria, incorporando también una academia de música y alojando a la imprenta eclesiástica Calatrava.

El colegio estuvo operativo hasta la década de los 30 del siglo XX.