La fundación del Monasterio de San Sebastián de Pico Sacro se produce bajo el gobierno del obispo de Santiago Sisnando I, a principios del siglo X. Su ubicación en lo alto de un monte (antiguamente llamado Montesagro), cercano a Santiago de Compostela, está relacionada con la leyenda del traslado del cuerpo del Apóstol Santiago a su actual ubicación, recogida en el Códice Calixtino. La misma tradición es la que se remonta al año 914 para hablar del nacimiento de este enclave dentro del mito del dragón de O Pico que atacó a los creyentes que trasladaban al Apóstol.

Desde la cima del Pico Sacro se pueden divisar las torres de la iglesia de Santiago de Compostela, y junto al cercano Monasterio de San Xoán da Cova, se convirtieron en alberge de peregrinos y punto de referencia para los que recorrían la Vía de la Plata en el Camino a Santiago.

El Monasterio de San Sebastián fue, desde su origen, dependiente del compostelano de San Martín Pinario. Las duras condiciones de habitabilidad que ofrecía el emplazamiento en lo alto del monte hicieron que los monjes se trasladaran más abajo para encontrar un lugar donde poder cultivar la tierra, dando lugar a la aparición de la ermita de San Lorenzo da Granxa, relacionada directamente con la comunidad benedictina.

Entre finales de siglo X e inicios del XI, estas comunidades sufrieron el clima de conflictividad que se extendía por Galicia, que hizo necesario reconstruir, en varias ocasiones, las dependencias de las mismas. Posteriormente recibió numerosas donaciones por parte, entre otros, de Alfonso VI y Diego Gelmírez y aunque poco más se sabe del devenir de esta comunidad benedictina, parece que el monasterio fue destruido por causa de la construcción de un castillo encargada por el arzobispo Alonso Fonseca, en 1473, en su mismo enclave. La ermita pasó a formar parte de la fortaleza como despensa y es la única construcción que se ha conservado hasta hoy.