Los primeros jesuitas llegaron a Talavera en la segunda mitad del siglo XVI, instalándose temporalmente en unas casas cercanas a la puerta de Zamora, frente a la cárcel se la Santa Hermandad. El colegio se fundó en 1582 de la mano del cardenal Gaspar de Quiroga que traslada ese emplazamiento inicial a unas casas pertenecientes a la Encomienda de Calatrava, situadas en la actual plaza del padre Juan de Mariana. El colegio de San Ildefonso tuvo una gran aceptación en la villa desde el primer momento, contando también con el apoyo económico del ayuntamiento que realizaba una dotación de 200 ducados anuales. Los jesuitas establecieron en Talavera estudios de gramática y latinidad; arrancando con tres profesores de gramática, un año más tarde de su inauguración ya contaba con casi ciento cincuenta alumnos de primeras letras. En 1584 los jesuitas adquirieron unas propiedades anexas a las casas de la plaza de Juan de Mariana, una zona conocida como la Huerta de la Cárcel, propiedad del mayorazgo de Don Francisco de Toledo y Silva, con la que los jesuitas consolidaron su asentamiento en Talavera. La presencia de la Compañía de Jesús en Talavera perduró hasta 1767. El colegio de San Ildefonso contaba con un importante archivo en el que se custodiaban escrituras de bienes, privilegios, cuentas, etc. Abandonado por los religiosos y tras el decreto de expulsión de la Orden los papales del colegio jesuitas fueron inventariados por el corregidor de Toledo, quedando el grueso del archivo depositado en el ayuntamiento de la ciudad para la administración de los bienes por la junta municipal de temporalidades de Talavera de la Reina.