Los primeros contactos de los carmelitas con el consistorio de la ciudad para fundar un convento se dieron a través de fray Antonio de Jesús, discípulo de Santa Teresa, en 1584. La primera respuesta negativa, debido a que existían otros dos conventos en la ciudad. Pero en 1591 llegaron a un acuerdo con la cofradía de San José de la Soledad por el que ésta se encargaba de comprar los terrenos en los que se asentaría el convento.

Mientras se construía el convento los frailes se establecieron en una antigua ermita y sus casas colindantes. Allí permanecieron hasta que en 1601 se dieron por terminadas las obras del nuevo convento, construido al gusto manierista. Pronto la comunidad carmelita tuvo gran fama en la ciudad, como demuestra el hecho el número de contrataciones de carmelitas para predicar en fiestas religiosas terminase superando al de los franciscanos, que ya llevaban tiempo en la ciudad.

En el siglo XIX comenzó la decadencia del convento. Durante la Guerra de la Independencia el edificio sufrió graves daños. Una vez terminada la contienda disfrutaron los frailes de unos años de tranquilidad hasta que en 1821, durante el Trienio Liberal, fueron exclaustrados tras ser aplicada la Ley sobre Monasterios y Conventos. Este cierre del convento terminó siendo provisional, pero en 1835 con la aplicación de los decretos de exclaustración del ministro Mendizábal se impuso el cierre definitivo.