En la sierra de Ávila se daba a culto a la Virgen del Risco, una imagen que según la leyenda fue encontrada por un pastor. Así, Francisco de la Parra, agustino y prior del convento agustino de Salmanca, visitó varias veces a dicha virgen, y finalmente se propuso construir un convento en el que rendirla culto. Primero obtuvo de Francisco Ruiz, Obispo de Ávila, la concesión de la Ermita de la Virgen y término del Risco, tiempo después, en 1525 comenzó la construcción del convento. Estas concesiones fueron confirmadas por el papa Clemente VII en 1530.

Varios religiosos ilustres habitaron el convento, como Fray Payo de Ribera, agustino que fue Virrey de Nueva España o Manuel Risco (cuyo verdadero nombre era Juan Manuel Martínez Ugarte), agustino historiador famoso por su obra inacabada "España sagrada".

Tras la Guerra de la Independencia, en la que el convento fue usado como cuartel por el Ejército Francés, regresaron los frailes, para cerrar definitivamente el convento en 1835, tras la aplicación de los decretos de exclaustración de Mendizábal.

Actualmente el convento está en ruinas y pertenece a la jurisdicción del municipio de Amavida.