La llegada de la Compañía de Jesús a Jaén se producía a finales del S.XVI, reclamados por el propio cabildo y familias influyentes de la ciudad, que consideran necesaria la presencia de la Orden en el ámbito educativo y doctrinal. De 1590 a 1614, las actividades de los jesuitas en Jaén fueron puramente misioneras, sin establecerse de forma fija. Esto favorecería el conocimiento y el arraigo de su labor con los jienenses. La apertura de otras casas-colegio en poblaciones cercanas, como es el caso Úbeda en 1590 y la influencia positiva que, estas ejercían sobre la educación y costumbres de la población llevó a corregidor del cabildo a la petición de la apertura de un colegio desde este año. Se realizaron varios intentos, que chocaron o con la falta de recursos para establecer una residencia estable o la propia oposición de algunos miembros del cabildo, que utilizarían todo tipo de influencias y artimañas, hasta llegar a la Corte, para dificultar el establecimiento. Por otro lado, las otras órdenes ya establecidas en la ciudad, argumentarían también su negativa, al representar la Compañía de Jesús una competencia directa. Sería la persona de D. Sancho Dávila, Obispo de Jaén, la que acabaría con toda oposición al establecimiento de la Compañía en la ciudad. No sólo sería protector de la misma, sino benefactor, pues donará unas casas, entre las calles Maestra y Escobar, sitio privilegiado, para el asentamiento de la Orden. Así, según cronistas de la época, el 7 de abril de 1604, se consagraría del templo jesuita, con advocación a San Eufrasio, en honor del patrón de la Diócesis de Jaén. La labor de los religiosos en la ciudad y la expansión en la región de los supuestos milagros que se daban en su templo, favorecieron el fervor por la Orden y su establecimiento en Jaén. Pero serían las donaciones y heredades de personas como D. Bernardo Ortega y Gómez, en 1639, las que permitieron la construcción, primero de unas escuelas, en las casas que los religiosos habían adquirido y sumado a las de Sancho Dávila. Y la ampliación de las mismas en 1689, con la donación de Lucas de Ledesma, convirtiéndose en Colegio. El colegio siguió las trazas de las construcciones jesuíticas, contaba con templo y junto a este residencia y aulas. Estas distribuidas en dos alturas. Se desconoce al artífice de la obra, algunos investigadores apuntan al P. Andrés Cortés, en el trabajo del templo. En el colegio, se han reconocido obras pictóricas de artistas barrocos de renombre como son, Sebastián Martínez o Francisco Pancorbo, lo que da cuenta de la relevancia de la institución. En sus inicios impartían Gramática, lectura y escritura, con posterioridad Teología y Filosofía. Aparece citado como Seminario Menor. No contamos con más datos sobre la labor formadora y cultural del colegio. Cesa su actividad en 1767 con la Pragmática Sanción promulgada por Carlos III (1759-1788).

Tras la expulsión de los jesuitas, el edificio se convierte en Monte de Piedad y Reales Estudios de la Concordia. Más tarde sería convento de agustinos y después Colegio de Humanidades de Nuestra Señora de la Capilla.

Finalmente en el XIX sería Instituto de Segunda Enseñanza, Escuela de Magisterio, Museo de Pinturas, Biblioteca Pública y, en la actualidad, Conservatorio Oficial de Música.