La llegada de los jesuitas a Toledo se produjo tras la muerte del cardenal Siliceo, que se había negado a que se establecieran en la ciudad. Su sucesor, el arzobispo Bartolomé Carranza, les concedió el permiso necesario y, entre octubre y diciembre de 1558, estuvieron alojados en el Colegio de Infantes de la ciudad. Luego alquilaron una casa cerca de la iglesia de la Magdalena en la que vivieron todo el año 1559 los tres sacerdotes que establecieron la fundación. Posteriormente la comunidad creció y comenzaron a fundar los primeros colegios.

En 1583 cuando iniciaron las clases, los alumnos eran 700. Se desconoce la fecha exacta de la fundación del Colegio de San Ildefonso, situado en la zona más elevada del conjunto histórico de la ciudad. Se localizaba en las diversas construcciones que desde mediados del siglo XVI y hasta el primer tercio del siglo XVII adquiere la Compañía de Jesús, para en este solar, construir su iglesia y Casa Profesa. En cuanto al inicio de la obra de la Casa Profesa, hay disparidad de opiniones; algunos autores afirman que la traza se debe al hermano Pedro Sánchez, en 1619, mientras que otros dudan sobre la parte que fue construida en el siglo XVII, coincidiendo todos, sin embargo, en que la parte más importante de la edificación se realizó en el siglo XVIII (especialmente entre 1720 y 1731, en una de las varias paralizaciones en la construcción de la anexa iglesia de la Compañía).

Tras la supresión de la Casa Profesa de Toledo, por problemas económicos en el inmueble, se instalarán a partir de 1732, el Colegio de San Eugenio y San Ildefonso hasta la expulsión de los jesuitas en 1767.

A partir del Decreto de expulsión (1767), parte de su fábrica, se utiliza como universidad, hasta que el Cardenal Lorenzana cede el edificio al Santo Oficio. La inquisición permaneció en él hasta 1834, cuando tras su supresión, todos sus bienes pasaron al Estado.

Con posterioridad el edificio fue ocupado por diversos organismos públicos; instalándose, entre otros la Delegación de Hacienda y Telégrafos, el Gobierno Civil y, temporalmente la Diputación Provincial e incluso un cuartel de la Guardia Civil.