Una vez fijado el territorio correspondiente a la Iglesia toledana en el siglo XIV, el Adelantamiento de Cazorla comprendió durante toda la Baja Edad Media y la Edad Moderna, además de la villa de Cazorla, las de La Iruela, Villanueva del Arzobispo, Villacarrillo, Iznatoraf y Sorihuela del Guadalimar. Constituyó un feudo eclesiástico sobre el que los arzobispos tenían plenas facultades normativas (dictar leyes), judiciales y de gobierno, además de otras de carácter militar. Durante el S.XVI se producen conflictos entre el obispado y la Monarquía, que pretende recuperar potestad sobre territorios y ámbitos entonces de la iglesia.

El obispo no siempre residía en el adelantamiento de Cazorla y para ello nombraba representantes que ejerciesen su jurisdicción. A finales del S.XVI esto les corresponde al Señorío de los Camarasa.

A la marquesa doña Ana de Guzmán se debe la fundación del Colegio de la Compañía de Jesús en Cazorla, en 1589, en uso del poder otorgado por su marido, D. Francisco Miguel de los Cobos y Luna para tal fin y el correspondiente acuerdo con el cabildo de la villa. El objetivo primordial de esta fundación no era otro que responder a las críticas y presiones de Toledo sobre la conducta de los Camarasa en el señorío, que se les había otorgado.

Bastantes cazorleños y algunos quesadeños dieron su ayuda económica a la fundación, pero son la posición y propiedades de personajes importantes las que subraya el poder de los fundadores y sus estrechas relaciones con la Corona y la Corte. El hecho de que la propia reina Isabel (de Valois), tercera esposa de Felipe II, encabezara las donaciones con unos 1.350 ducados, entre dinero, perlas y ropas, da idea de la entidad que alcanzaba el apoyo de los marqueses. El duque de Medinasidonia, D. Juan de Austria, el obispo de Plasencia y los propios fundadores y sus familiares fueron otros tantos notables que aportaron efectivos y bienes de diversa naturaleza, de modo que el total de estas aportaciones superaba largamente los tres millones de maravedíes. En el Colegio, independientemente de sus obligaciones religiosas, se debía enseñar leer y escribir a la juventud de la villa sin interés alguno e impartir Gramática por dos maestros religiosos de la Compañía.

Es muy probable que la prosecución y desarrollo de la construcción de la Iglesia de Santa María, cuya traza se atribuye a Vandelvira, arquitecto que trabajó en Úbeda para De los Cobos, se debiese al impulso de los marqueses, aunque después, las enormes dimensiones el templo, la evolución negativa del contencioso con la Iglesia y, una la catastrófica tormenta de finales de XVII contribuyeran a que nunca se viese concluido totalmente, si bien durante mucho tiempo se celebró culto en él. El pleito entre la Mitra y los Camarasa, largo y complejo, concluyó muchos años más tarde (1606) en concordia y avenencia: la Iglesia obtuvo nuevamente su dominio sobre el Adelantamiento y los Camarasa recibían sustanciosas compensaciones económicas. Según el catastro de ensenada, a mediados del S.XVIII, era el tercero más ricos de la ciudad. Pero en la primavera de 1767 los jesuitas serían expulsados de Cazorla, como en el resto de los territorios españoles, como consecuencia de la Pragmática Sanción de Carlos III. 178 años de actividad educativa, que desapareció afectando claramente a la formación de la población de Cazorla.

Tras la expulsión de los jesuitas la Iglesia del Colegio-convento, paso a depender a la Orden de los Carmelitas, cambiando su advocación a la virgen del Carmen, hasta que en el S.XIX se produce su abandono con las leyes desamortizadoras. Entonces pasó a utilizarse como capilla de un antiguo hospital. El posterior uso y abandono ahonda en su deterioro. Actualmente se encuentra en estado de rehabilitación.