La Compañía de Jesús inauguró siete colegios en Extremadura entre la segunda mitad del siglo XVI y la primera del XVIII. La elección de las villas para fundar sus centros no se debía a ningún criterio estratégico de carácter geográfico, tan solo se tenía en cuenta que los colegios pudieran tener unas rentas aseguradas para su fundación y posterior funcionamiento.

Después del colegio de Plasencia, en 1554, el siguiente centro inaugurado en la región fue el de Fregenal de la Sierra, en 1597. El método seguido para la fundación de este centro fue el mismo que se llevó a cabo en otras poblaciones. Se enviaban en primer lugar un par de religiosos para llevar a cabo misiones por la zona hasta que se conseguía que algunos influyentes vecinos de las localidades mostraran su interés en hacer donaciones a favor de la Orden y poder establecerse de manera definitiva.

En esta villa fue Don Alonso de Paz el que dejó 40.000 ducados como renta fija para levantar y mantener el colegio de San Ildefonso, según se recoge en su testamento fechado en 1597. Las obras del colegio se iniciaron en 1600 y con los años se convirtió en un centro de enseñanza referente en la provincia extremeña donde se impartían clases de gramática, artes, filosofía y teología. El edificio era de planta rectangular, construido en ladrillo sobre una base de piedra y con una fachada formada por vanos rectangulares y balcones de hierro en la parte superior.

Los jesuitas, como era costumbre, levantaron una iglesia cercana al colegio; la de Fregenal no tenía grandes dimensiones, de una sola nave, sin crucero, ni capillas laterales, estaba construida en piedra y se cree que pudo tener como maestro de obra al hermano Pedro Sánchez.

Los jesuitas permanecieron en el colegio de San Ildefonso hasta que se produjo su expulsión en el año 1767. El viernes 3 de abril el alcalde mayor de la villa, Don Pedro de Torrecilla y Carvajal, ordenó a los jesuitas que abandonaran el centro confiscando el dinero y el resto de los bienes que tenían los religiosos. Fregenal fue el centro elegido para reunir a todos los jesuitas expulsados de la región extrema. Un total de 41 religiosos, provenientes de los colegios de Llerena, Higuera la Real, Badajoz, Cáceres y Plasencia fueron trasladados desde allí al Puerto de Santa María para acabar definitivamente en los Estados Pontificios.

Actualmente del edificio del colegio solo quedan los muros principales. La iglesia está en mejores condiciones, después de la expulsión de los jesuitas pasó a manos de la condesa de la Espina, que convirtió el templo en una casa solariega, más tarde sirvió de cochera y almacén del servicio municipal de obras.