El convento de los carmelitas calzados no tiene un origen cierto, si bien la tradición relaciona su fundación con San Elpidio, del que se dice que fue discípulo de San Pablo, la realidad es que la primera constancia documental es del 4 de junio de 1348, a partir de una donación de 10 maravedíes de Marina López. Según otros documentos de la orden, en 1332 no existía todavía, por lo que tenemos que ubicar la posible fecha de fundación en el tramo de años que van de una fecha a la otra. El asentamiento sobre el que construyeron el convento fue una parroquia donde existía una antigua iglesia mozárabe, Santa María de Alficén.

El convento vivió un rápido auge desde su fundación, anexionando progresivamente terrenos y edificios y adquiriendo el patronato de familias importantes. Tal es el caso de Pedro López de Ayala, alcalde mayor de Toledo, que el 28 de agosto de 1445 dejó estipulado su enterramiento, el de su esposa, Elvira Castañeda y el de sus descendientes en la capilla mayor de la casa carmelita.El desarrollo arquitectónico del convento continuó hasta finales del siglo XVI, cuando se llevó a cabo la última edificación, sustituyendo la antigua iglesia mudejar por otra nueva.

Hasta el siglo XIX la vida del convento continuó sin sobresaltos, llegando a poseer una amplia comunidad de religiosos, que constaba de 32 sacerdotes, 9 coristas y 7 legos en 1803. Pero la llegada de la Guerra de la Independencia marcó el inicio de la decadencia de la casa carmelita, ya que el convento fue usado como cuartel por las tropas francesas, lo que provocaría graves destrozos en el edificio y la desaparición del archivo. En 1809, además se aplicó el decreto de José Bonaparte por el que quedaban suprimidas las órdenes regulares, por si no fuera poco, en 1812 el convento sufrió un terrible incendio que lo dejó completamente destrozado.

Tras el fin de la contienda los frailes regresaron al convento y comenzaron su reconstrucción alojándose mientras tanto en el Salón de Mesa. Aunque el 18 de marzo de 1821 el convento sufrió un nuevo cierre, esta vez a partir de la aplicación de la Ley sobre monasterios y conventos, promulgada durante el Trienio Liberal. Con la restitución del poder a Fernando VII los frailes regresaron a sus casas pero en 1835 se daría el fin definitivo de Nuestra Señora del Carmen de Toledo al aplicarse los decretos de exclaustración de Mendizábal.