Este convento segoviano, ubicado en el cañón de las hoces del río Duratón, tiene su origen en un eremitorio y una iglesia dedicada a San Pantaleón que existía en el lugar antes la invasión musulmana. Tiempo más tarde el Priorato de San Frutos, cercano al lugar y donado por los reyes a los benedictinos del monasterio de Silos en 1076, hace construir un santuario para el culto a una imagen de la virgen, que según la tradición, encuentra un pastor.

En 1231 los franciscanos se establecen en el lugar fundando el convento de Nuestra Señora de los Ángeles, para ello contaron con el visto bueno del obispo de Segovia. Los benedictinos del Priorato de San Frutos, que en ese momento eran titulares del lugar, al principio mostraron su oposición, pero finalmente acabaron cediendo el lugar a los franciscanos.

En 1492 una tormenta derrumbó todo el monasterio, excepto la iglesia. Las obras de rehabilitación serían sufragadas por la reina Isabel la Católica, que tenía gran devoción por la Virgen de la Hoz. La reina tenía alojamiento propio en el convento, al que visitó varias veces, asimismo su escudo de armas fue tallado en varias estancias . Las obras serían terminadas por Felipe II, que visitó el monasterio en 1565.

El patronato de la iglesia por parte de Francisco de Proaño, regidor perpetuo de la villa de Sepúlveda, fue creado en 1587 y posteriormente pasaría a Baltasar Gonzales de Proaño, caballero de la Orden de Alcántara. En 1835 el convento cierra sus puertas debido a la aplicación de los decretos de exclaustración de Mendizábal.