El monasterio se alza en un espléndido lugar asomado a la ría de Ferrol. Está dedicado a san Martín Dumiense o Bracarense, y su origen es anterior al año 977, cuando era un establecimiento dúplice de propiedad particular de la familia Traba. Las donaciones de las que se tiene noticia desde finales del siglo X se intensifican a lo largo del XI, en su segunda mitad, destacan las realizadas por miembros de la familia de los condes de Traba, época en la que se fraguó su adscripción al monasterio de Cluny, en 1113, convirtiéndose en un priorato de aquella casa borgoñona.

Tras su anexión a Cluny el antiguo monasterio recibe a lo largo del siglo XII diferentes donaciones que, con cierta frecuencia, se acompañan de la solicitud por parte de los donantes de ser enterrados en él. Especial relevancia tiene la confirmación de los privilegios otorgados por Alfonso VII y la protección del coto monástico en 1169 por el rey Fernando II.

A partir de entonces se inicia un largo y progresivo declive que se atribuye, entre otras causas, a una excesiva

explotación de beneficios por parte de Cluny a través de sus visitadores, a la influencia del monasterio del Sobrado en Xubia a través de sus posesiones y al relajamiento moral.

Este monasterio tiene un largo historial de incumplimientos de la observancia religiosa entre sus muros, con episodios de todo tipo que trajeron de cabeza a los visitadores que pasaban con voluntad de corregir la situación. Al año de 1337, un incendio afecta al priorato, no a la iglesia. La recuperación y restitución de los bienes, que habían sido robados por miembros de la comunidad, sigue siendo imposible entre los años 40 y 70 del siglo XIV, por lo que la situación económica es desastrosa e incluso el capítulo general de 1342 decide que el abad de Cluny solicite la mediación del rey para que expulse a los captores de los bienes y los restituyan al priorato.

En 1518 el monasterio de Xubia se separa de Cluny fue unido primero al monasterios de San Martiño Pinario y luego a San Salvador Lourenzá. En 1586 el rey Felipe II, con autorización de Gregorio XIII, vendió el coto y otras posesiones de san Martín de Xubia. Este monasterio verá su final en 1836 como consecuencia de las leyes desamortizadoras de Mendizábal.

En 1745 pasó una noche en este priorato, entonces regido por el prior fray Felipe Colmenero, el padre Sarmiento que deja constancia de que tal prior: «tiene un cuaderno en pergamino de letra del siglo XIII, que contiene muchas donaciones, todas latinas, y algunas antiquísimas»