El origen de la fundación del convento se encuentra en la donación del sitio de la Peñuela que realiza Alonso Sánchez Chacón a unos eremitas, dirigidos por el padre Alonso Núñez Marcelo, en 1565. Debido a las deliberaciones del Concilio de Trento, por la que se obligaba a los eremitas a integrarse en el clero regular. Tras considerar que la regla carmelita era la que mejor casaba con su forma de vida, comenzaron las negociaciones entre el fray Gabriel y el obispo, solicitando la fundación del convento en el antiguo oratorio de la Peñuela.

Tras finalizar las conversaciones para obtener los permisos, se produce la fundación oficial del convento en el año 1573. La ceremonia la oficio el padre Baltasar el 29 de junio, ofreciendo el hábito carmelita y colocando en la capilla el santísimo sacramento. Poco después de fundar el convento, en 1576, los frailes abandonan el edifico debido a los problemas de salubridad del sitio, no obstante, en 1578 se produjo el regreso de los frailes. Tras ese pequeño parón en la vida conventual, la Peñuela se desarrolló rápidamente, realizando incluso otras fundaciones como el convento de Monte Calvario o la ermita de Nuestra Señora de la Fuensanta, el 3 de junio de 1588.

Famoso es este convento por haber sido la morada del místico San Juan de la Cruz durante sus últimos años de vida, de aquí partió en 1591 hacia Úbeda para tratarse de unas fiebres, muriendo en el camino. En el siglo XVIII se fundó en los terrenos del convento, la capital de las Nuevas poblaciones de Sierra Morena, plantándose la semilla de lo que sería después La Carolina, nombre dado en honor a Carlos III, padre de este proyecto que implantó Pablo Antonio de Olavide. Así, el 13 de agosto de 1768, el rey firma una disposición por la que se realiza la permuta entre el convento y el antiguo colegio de los jesuitas de Cazorla, al que se traslada la comunidad de carmelitas.