A mediados del siglo XVI llegan a Villarejo de Fuentes las primeras noticias de la expansión de la Compañía de Jesús por la provincia de Toledo. Serán los nobles Dª Gerónima de Mendoza, hija de los Señores de Montalbo, y su marido D. Juan de Silva Pacheco, biznieto del Maestre de Santiago Juan Pacheco, los que patrocinen la fundación del centro jesuita.

A finales de 1561, la Compañía acepta la donación y decide fundar en Villarejo un centro con aulas para estudiantes de la villa, escuela para novicios de la Orden y una iglesia para el culto bajo la advocación de San José.

El noviciado se organizó siguiendo las normas impartidas por el Padre Jerónimo Nadal para estos centros. Hasta que fue trasladado a Madrid, el de San José fue el de referencia para los jesuitas en la provincia de Toledo, como lo fueron el Valencia para la provincia de Aragón, Simancas para la de Castilla y Córdoba para Andalucía. En sus aulas destacaron las figuras del Padre Luís de la Palma y el Padre Juan de Montalvo que llegó a ser rector de los colegios de Alcalá (1624) y del Imperial de Madrid (1632), llegando más tarde a ser nombrado Superior Provincial de la Compañía en la Provincia de Toledo.

El colegio arrancó con dos maestros de primeras letras y tuvo al Padre Juan de León como Primer Superior, con título de Prefecto. En los años siguientes a su inauguración continuó recibiendo rentas y bienes sobre todo por parte de la familia de Dª Jerónima, los Coello de Montalvo.

El templo se empezó a levantar hacia 1570, construido de sillarejo y sillar en su fachada principal. Dispone de una gran nave central, cubierta por una bóveda de medio cañón original y pilastras adosadas. La iglesia es lo único que se conserva actualmente; en su portada se puede contemplar el escudo de Carlos III, que mandó poner en todos los edificios que pertenecían a la Compañía tras la expulsión de los jesuitas en 1767.