Teresa de Jesús deseaba fundar un convento en Madrid dentro de la reforma de la orden carmelita. Encontró muchas trabas para hacerlo que se debían a la renta que debía tener el convento y que no alcanzaba. A pesar de todo, continuó con los intentos y, en 1582, su confesor, el padre Doria, quien la informaría en una carta que escribió quince días antes de la muerte de la santa, ya había logrado los permisos para sacar adelante la fundación.

Esta se hizo en 1586. Varias religiosas venidas desde Granada, entre ellas Ana de Jesús, y Beatriz de Cepeda, una compañera y amiga y la otra sobrina de Teresa de Jesús, acompañadas por Juan de la Cruz, llegaron a Madrid después de recoger a otras religiosas en Malagón y Toledo.

En 1586 ya estan instaladas en una casa de la red de San Luis y, tras unos años allí deciden cambiar de ubicación. Ana de Jesús había comprado una casa pero no podia sufragar las obras de ensanchamiento y adecuación para convento. Gracias a sus contactos en la corte obtuvieron la aportación de diez mil ducados de la reina Margarita de Austria.

En 1611, se inaugura el nuevo convento bajo la advocación de Santa Ana, como recuerdo a la fallecida reina Ana de Austría, y de San José, por ser el santo del día en el que cambiaron de residencia.

El convento resistió en esta ubicación hasta la Guerra de Independencia. Fue saqueado por las tropas francesas y, poco después, José I lo mandó derruir para abrir el espacio para la actual plaza de Santa Ana.

Las carmelitas descalzas pasaron a vivir en un convento de la calle Torrijos (actual calle de Conde Peñalver) donde permanecerían hasta le Guerra Civil Española. Entonces el convento es nuevamente asaltado y destruido y las monjas retenidas para confiscar sus bienes con lo que la comunidad religiosa desaparece.

Finalmente, en abril de 1959, se forma una nueva comunidad bajo la misma advocación que se instala, ya de forma definitiva y hasta la actualidad, en un convento de la calle General Aranaz de Madrid.