La rama descalza de los carmelitas planteó fundar un convento masculina en Madrid para tener una casa en la Corte que tramitase todos los asuntos relativos a la orden. La primera licencia para fundar el convento de carmelitas descalzos de Madrid la otorgó el arzobispo de Toledo el 25 de enero de 1580 y fue la culminación de un difícil camino en el que los carmelitas descalzos tuvieron que superar las reticencias a la creación de un nuevo convento masculino en la villa.

Para sortear estos escollos contaron tanto los movimientos del padre provincial de la orden, fray Nicolás de Jesús María, como los emprendidos por el padre Doria que contactó con el propio Felipe II para que influyese en la opinión de Gaspar de Quiroga, arzobispo de Toledo. Debido a la ayuda del monarca el convento obtuvo el nombre de San Hermenegildo por el que Felipe II sentía gran devoción.

Pasarían todavía seis años hasta que se realizase la fundación definitiva, así el 25 de enero de 1586 se funda el convento de San Hermenegildo, tomando como lugar de asentamiento una casa perteneciente al licenciado Jiménez Ortiz, consejero de Castilla. El 25 de febrero se ofició la primera misa en una iglesia provisional que construyeron en el edificio.

La nueva iglesia no tardaría en comenzar a ser construida, llevándose a cabo su inauguración el 8 de diciembre de 1605. Su construcción a partir de casas adquiridas en terrenos colindantes al convento original y contó con la ayuda de Felipe II, que donó 9000 ducados, y de Felipe III. No obstante el proceso constructivo continuaría en el siglo XVIII, a partir de un proyecto de 1728 para derrumbar y volver a construir el convento e iglesia. Las obras comenzaron en 1733, siendo encargadas a Pedro Ribera, y culminaron en su mayor parte en 1742, por lo que se bendice la nueva iglesia el 14 de octubre.

La vida del convento llegó a su fin en 1835 cuando fueron aplicados los decretos de exclaustración del ministro Mendizábal, lo que llevó a los frailes a abandonar el convento en 1836. Sus gran biblioteca fue transferida a la Biblioteca Nacional.