El Colegio fundado por la Compañía tiene su origen extramuros de la ciudad, en 1553, se construye sobre la primitiva parroquia se San Gil, por iniciativa de dos abulenses, Fernando Álvarez de Águila y Luis de Medina. Años después se trasladarían al interior de la ciudad de Ávila, en 1623 con la adquisición, por parte del Arzobispo Diego de Guzmán, de unos inmuebles medievales reformados en el S.XVI, dentro del conjunto palaciego de los Dávila y adosados intramuros al lienzo meridional de la muralla. En la fachada septentrional restan una serie de elementos, como torre maciza con carácter defensivo, ventanas geminadas y puerta de gran dovelaje, que denotan su origen civil. Allí se instalarán los jesuitas, adaptando los edificios adquiridos a iglesia, colegio y hospicio. El colegio se funda bajo la advocación de San Gil, según las fuentes actuales. Tras la expulsión de la Compañía de Jesús, decretada por Carlos III en 1767, las dependencias pasaron a utilizarse como sede del Palacio Episcopal, función que aún hoy desempeña, y la iglesia del colegio, entonces bajo advocación de San Ignacio, pasará a denominarse de Santo Tomé el Nuevo. Cesa su actividad como el resto de colegios jesuitas, tras el decreto de expulsión de 1767, promulgado por Carlos III (1759-1788).