El impulsor de este convento fue el fraile Alonso de Madrid, provincial de Castilla, que logró una bula del papa Paulo III en la que autorizaba a los agustinos a asentarse en la Villa de Madrid. El 9 de marzo de 1547 se realiza la fundación, no sin antes haber tenido que sortear la oposición del Arzobispo de Toledo, Juan Martínez de Silíceo, del ayuntamiento y de los franciscanos. Esgrimían que ya existían otros dos conventos de órdenes mendicantes en Madrid, el de San Francisco y el de Nuestra Señora de Atocha.

No obstante, gracias a la intermediación del principe Felipe (futuro rey Felipe II) y su hermana, la infanta Juana, priora del convento de Madrigal y abadesa de las Huelgas de Burgos, lograron asentarse en la Villa de Madrid, cerca de la Puerta del Sol, en unos terrenos que donó el Conde de Orgaz a cambio de una capilla. Los agustinos, agradecidos a la influencia prestada por el principe Felipe, impusieron al convento la advocación del santo titular del príncipe, San Felipe.

El 9 de enero de 1600 se dispuso la construcción de una lonja o patio para su exterior, delante de la puerta de la iglesia. Esto fue el origen del "Mentidero de Madrid", como se conocía popularmente a la lonja externa del convento, dónde acudían multitud de personas a escuchar rumores de la Corte, comerciar etc...Fue convento que siempre tuvo muy buena relación con la familia real, contando con el favor y donaciones de Felipe II, la infanta María.

Famosa fue su biblioteca, sobre todo a lo largo del S.XVIII. Muchas de las rentas y limosnas se invertirían en dotar a la biblioteca. Fue aquí donde Enríquez Flórez comenzó a trabajar en "España Sagrada" , el mismo enriqueció la biblioteca con libros y códices. Además el convento tenía noviciado y estudios de Teología.

En 1808 el convento pasa a manos de las tropas francesas, las cuales permiten a unos pocos monjes mantenerse para salvaguardar los libros del padre Enríque Flórez, mientras el resto del convento era usado como cuadra y alojamiento de soldados. En está época el convento perdió muchos de sus bienes, aunque algunos fueron recuperados en 1814 cuando regresaron los frailes al convento.

En 1835 el convento cerró definitivamente sus puertas debido a la aplicación de los decretos de exclaustración de Mendizabal. En 1836 se ordenó su demolición, la cual se hace efectiva en 1838. Posteriormente las llamadas Casas del Cordero.