En el año 1584 ya existía una pequeña comunidad de frailes descalzos de la orden del Carmelo en Toledo, pero no fue hasta el 30 de agosto de 1586 cuando Gaspar de Quiroga, arzobispo de Toledo, otorgó el permiso para que los frailes constituyesen una casa. Esta licencia fue reiterada después por el archiduque Alberto de Austria el 18 de mayo de 1598, y por ella sabemos que en este primer momento se asentaron en la casa que habían abandonado las descalzas carmelitas.

Permanecen en ese establecimiento hasta que en 1603, cansados del ruido y del bullicio que soportaban al estar tan cerca de una de las entradas de carretas en la ciudad, venden el edificio y con licencia municipal ocupan un espacio tras el castillo de San Servando, alojándose mientras se completaba la mudanza en el hospital de Santa Cruz. Las obras comenzaron en el año 1606, no obstante no sería este el asentamiento definitivo de los carmelitas, ya que el ruido y el bullicio volvían a estar presentes, debido a la cercanía del convento con el Camino Real de la Mancha.

Por esto y probablemente por deseo de los frailes más jóvenes, que no eran partidarios del aislamiento, compran otra casa en 1643. La casa es adquirida por 40.000 reales al conde de Castro, Gonzalo Fajardo y Manrique de Mendoza y esta vez sí sería el asentamiento definitivo del convento. El proceso de construcción del nuevo convento se completó con la adquisición de 20 viviendas particulares. La vida del convento llegó a su fin en 1835 cuando fueron aplicados los decretos de exclaustración de Mendizábal.