El Convento de Nuestra Señora de Gracia de San Pablo de los Montes se fundó el 5 de agosto de 1472. En esa fecha todavía no existía el municipio de San Pablo de los Montes, pero sí había una ermita y un santuario dedicados a Nuestra Señora de Gracia. La ciudad de Toledo confió la comunidad de frailes que existía en la ermita a la Orden de San Agustín y nombró a fray Pedro de Villalobos como su primer prior. El vecino pueblo de Ajofrín también tuvo que donar importantes sumas para la erección del convento. Custodiaba un santuario cercano y poseía una hospedería con cocina, comedores, dormitorios, corrales y cuadras para los visitantes del santuario, así como una amplia huerta con variedad de árboles frutales. El convento pertenecía a la Congregación de la Observancia.

En diciembre de 1808, durante la Guerra de la Independencia, el convento tuvo que refugiar temporalmente a la monjas agustinas del Convento de Santa Úrsula de Toledo. Después del conflicto se redujo progresivamente el número de frailes hasta que quedarse sólo con cuatro religiosos en 1834. Al año siguiente, el convento fue abandonado debido al Real Decreto de 25 de julio de 1835 suprimiendo los monasterios y conventos con menos de 12 individuos profesos. En 1839, el edificio fue incendiado por las tropas carlistas. La iglesia, sin embargo, siguió abierta al culto durante varias décadas.