Oratorio-Seminario conciliar fundado en 1660 por D. Fernando de Andrade y Castro (obispo de Jaén), quien lo dotó con bienes de su propiedad aunque recibió el apoyo del Concejo de la ciudad el cual, en 1661, cedió un solar frente a la Catedral de la Natividad de Nuestra Señora. En un principio la institución, con la advocación de "Nuestra Señora de los Dolores", estuvo compuesta por doce plazas de estudiantes de teología y artes y seis sacerdotes formadores, los cuales residieron en una vivienda alquilada para tal fin durante el proceso de erección del edificio definitivo, proyectado por D. Eufrasio López de Rojas.

Aunque la obra principal (dirigida por D. Juan de Mendoza y D. Antonio Moreno) se finalizó en 1669, no fue hasta el 24 de agosto de 1672 que el seminario se trasladó al nuevo edificio. Sin embargo, los primeros estatutos no serían aprobados por el obispo (D. Antonio Fernández del Campo y Angulo) hasta el 1 de octubre de 1673, cuando la institución ya llevaba varios años funcionando como organismo docente.

En 1720, con el objeto de ampliar el recinto, la dirección del seminario solicitó al conde de Benavente (posiblemente Antonio Francisco Pimentel de Zúñiga y Vigil de Quiñones) la cesión del vecino Palacio de Jabalquinto. Aunque la transferencia fue concedida, esta estuvo sujeta a una serie de condiciones vinculadas al linaje familiar, tales como el derecho a hospedaje en el recinto, asientos señalados en la capilla o el respeto de los escudos de armas del edificio. Tras la incorporación del Palacio, y gracias a la cesión por parte del Concejo de una calle y solares en el espacio conocido como "corralazo de San Gil", se produjo una enorme remodelación del complejo, lo cual supuso una importante ampliación del terreno del Seminario. Es en este momento cuando se levantó la "Galería de San Felipe" (para hacer efectiva la unión de ambos inmuebles) y la "residencia de los Padres Filipenses".

La actividad del Seminario continuó en armonía hasta 1836, fecha en la que las leyes de Mendizábal incautaron el edificio y exclaustraron a la congregación de San Felipe Neri.

Aunque en 1853 el recinto fue devuelto al Obispado y su actividad restituida, la importancia de la institución comenzó a decaer, de tal modo que en 1905 el dominio del Seminario de Jaén motivó la transformación del de Baeza en Seminario Menor.

Con el estallido de la Guerra Civil, en 1936 el Ayuntamiento incautó el recinto en nombre del Estado, por lo que las actividades docentes fueron una vez más canceladas. Aunque en 1952 estas fueron restablecidas (tras una intensa reconstrucción del edificio), en 1969 la institución fue definitivamente suprimida ante la falta de estudiantes.

Desde la clausura de la institución y hasta mediados de los años setenta del s. XX, el edificio fue empleado como colegio menor. Posteriormente el complejo fue totalmente clausurado, permaneciendo en abandono hasta 1987, momento en el que fue cedido a la Junta de Andalucía. Esta, con el objeto de darle un nuevo uso a los edificios, encargó a los arquitectos Ramón Menéndez de Luarca y Gerardo Salvador un proyecto de restauración y rehabilitación, el cual finalizó en 1993 con el establecimiento en sus dependencias de la entonces "Universidad Internacional Antonio Machado" (dependiente de la Univ. de Granada). No obstante, en 1994 pasó a establecerse como "sede Antonio Machado", campus dependiente de la nueva "Universidad Internacional de Andalucía".