El Convento de Nuestra Señora de Gracia de Casarrubios del Monte fue fundado en 1372, cuando los señores de la villa, Diego Gómez-Pérez y su esposa Inés de Ayala, concedieron unas tierras a fray Juan de Ocaña y su comunidad de agustinos (establecidos en la zona desde 1354) para levantar un convento. Se llegó al acuerdo de que en el convento debía haber 12 frailes, de los cuales al menos 6 debían ser sacerdotes. En 1583, el hijo del matrimonio, Pedro Suárez, también donó 15.000 maravedíes en su testamento para terminar las obras del edificio. El 3 de abril de 1584 el papa Gregorio XIII hizo privilegiado el altar de San NIcolás de Tolentino en la iglesia del convento, siempre que los sacerdotes del mismo celebraran en él por los difuntos. El 22 de septiembre de 1611 el papa Paulo V también concedió a este convento facultad para fundar una cofradía dedicada a Nuestra Señora de Gracia, cuya imagen se veneraba allí. Posteriormente, Bernardo de Oviedo y Puelles, secretario del arzobispo de Toledo, Bernardo de Sandoval y Rojas, y del rey Felipe III, se convirtió en patrono del convento a cambio de diversos privilegios.

A finales del siglo XVI, arruinado el convento primitivo, se construyó otro dentro de la localidad. Los frailes se dedicaban a la confesión, la predicación y la asistencia a los moribundos. El convento fue sede de los capítulos provinciales de los agustinos de 1452 y 1470. Entre los frailes que profesaron en el convento estuvo fray Alonso de Méntrida, misionero en las Islas Filipinas. El final del convento llegó en 1835, cuando el gobierno decretó la supresión de todos los conventos y monasterios de España.