El convento fue fundado en 1415 por los señores del territorio de El Castañar, Juan Palomeque y Juan Ramírez de Guzmán. La iglesia y la capilla mayor fue construida con bienes de Diego Pachecho, marqués de Villa, su hermano Alonso Tellez Girón, conde de Montablén y Pedro Suárez, señor de Gálvez.

El convento guardó una relación muy estrecha con la realeza, recibiendo múltiples ayudas de ésta, algunos de los casos más representativos son los de Isabel de Valois y la princesa Juana de Austria, que visitan el convento el 1 de enero de 1561, dejando un cáliz dorado y 100 ducados la primera y 50 ducados la segunda, Felipe III que donó 300 ducados para la construcción del campanario o María de Austria que estipuló una donación de 50 ducados al año.

Otro gran benefactor del convento fue el cardenal Portocarrero, que durante la agonía de Carlos II ejerció como valido, lugarteniente y gobernador del Reino, cargo que también obtuvo durante la ausencia de Felipe V en la Guerra de Sucesión. Entre sus donaciones, se encuentra la cesión al convento de varias reliquias de santos, procedentes del cementerio romano de Ciriaca o la fundición de una campana grande para el convento en 1688, año en que se encontraba con problemas de carestía.

Según la tradición habitó en este convento Francisco Jiménez de Cisneros, que mandó construir una choza de imbre y barro para rezar en los Montes de Toledo.

En 1835 el convento cierra sus puertos debido a la exclaustración decretada por Mendizábal.