Según la tradición, el joven estudiantes francés Simón Rolán, ve a la virgen que le pide que busque una imagen suya en la Peña de Francia. Tras mucho tiempo búsqueda infructuosa, termina en España, donde continúa su búsqueda, hasta dar con la imagen con la ayuda de cuatro vecinos. Tras encontrarlo construye una iglesia, con ayuda de las donaciones de los vecinos, en la que dar culto a la virgen encontrada. A partir de ese momento sería conocido como Simón Vela, nombre derivado de los apremios de la virgen para terminar su misión: "Simón, vela y no duermas".

El 19 de septiembre de 1436, el rey Juan II de Castilla ofrece el santuario a los dominicos. A lo largo del siglo XV fue terminada la iglesia, y comienza la construcción del convento. Éste vivió un desarrollo arquitectónico a lo largo de sus siglos de vida. Así en el siglo XVI se construyó la Capilla de la Blanca, sobre la cueva donde se encuentra la imagen, y del siglo XVIII datan la portada y escalinata, así como la torre, construida en 1767.

En 1516, con 22 frailes viviendo en la comunidad, se inició la construcción de la llamada Casa Baja. La idea de construir una casa distinta a la principal, y ubicada en una zona más baja y abrigada de la montaña, se remonta a la propia fundación del convento, ya que, Juan II escribe en el documento fundacional que ha de construirse un nuevo edificio para albergar a los frailes en los inviernos más crudos. La Casa Baja, pertenece al complejo conventual, pero está ubicada en el municipio de Maíllo.

De este convento partieron muchos misioneros a América y Filipinas. Durante el siglo XIX el convento sufrió la Guerra de la Independencia, fueron sus edificios gravemente dañados, y aunque en 1816, tras el fin de la contienda, logran regresar los frailes y comenzar la reconstrucción. Pero en 1835 el convento sería suprimido tras la aplicación de los decretos de exclaustración del ministro Mendizábal.