El Convento de San Raimundo de Potes fue fundado el 11 de enero de 1608. Aunque Mateo González de Baró había cedido a los frailes dominicos las tierras para su construcción en 1603, la fundación se había retrasado debido al pleito entablado con las autoridades civiles y eclesiásticas de la comarca de Liébana. El edificio, inspirado en los planos del Convento de Santo Domingo de Lerma, se construyó bajo la dirección de Juan Gómez de Baró, Francisco de Valle y Juan de Agüero entre 1619 y 1679. El convento contaba con un colegio para 12 estudiantes de la comarca entre los 12 y los 15 años de edad. A lo largo de su existencia, el número de frailes osciló entre los 20 y los 24.

El rey Felipe III aportó 6.000 ducados para la fundación y 2.000 ducados de pensión perpetua sobre las rentas del arzobispado de Burgos y los obispados de Palencia, León y Oviedo. Posteriormente, debido a la falta de recursos del convento, el rey Felipe IV le cedió el priorato agustino de San Juan de Naranco y la villa de Pedroche como beneficios, aunque esta cesión generó nuevos pleitos entre el convento y el concejo de Espinama. Finalmente, el convento no pudo hacerse cargo de la villa de Pedroche.

Los frailes tuvieron que abandonar el convento durante la Guerra de la Independencia (1808-1814). Durante el Trienio Liberal (1820-1823), el convento también fue clausurado temporalmente y los frailes fueron destinados al Convento de Nuestra Señora de Las Caldas por la Real Orden de 24 de abril de 1821 sobre el arreglo de conventos de la provincia de Santander, en cumplimiento de la Ley sobre monasterios y conventos de 25 de octubre de 1820. El convento fue suprimido definitivamente por los decretos de exclaustración de 1835.