La fundación del convento es debida a la devoción religiosa de Fernando de Rueda. Era una persona acomodada a la que le gustaba retirarse por temporadas con los ermitaños que habitaban en las cuevas de la zona. Finalmente se propuso fundar un convento que tuviese estudios, por lo que obtuvo una bula papal de Benedicto XIII el 31 de octubre de 1417.

Una vez se hubo terminado de construir el convento, Fernando de Rueda tomó el hábito de San Francisco. Los condes de Hornachuelos ayudaron a la expansión del convento ejerciendo su patronazgo. Los primeros habitantes del convento fueron frailes observantes, pero en 1523 transformaron la casa en convento de recoletos.

Dos personajes importantes de la orden franciscana guardaron relación con el convento: San Diego de Alcalá, tomó el hábito en él y de hecho la tradición habla de que el convento poseía una cueva revestida de huesos en la que vivió; y San Francisco Solano, que fue nombrado maestro de novicos en 1581.

El convento sufrió tres exclaustraciones, la primera de ellas durante la Guerra de la Independencia, la segunda durante el Trienio Liberal y la tercera y definitiva la decretada por Mendizábal, la cual supuso el cierre definitivo del convento que fue convertido en fonda.