Fue también conde de Ribadavia y Grande de España de primera clase. Era hijo de Domingo Francisco Gayoso de los Cobos, X marqués de Camarasa, y Ana Gertrudis Bermúdez de Castro. Contrajo matrimonio en 1800 con Josefa Mañuela Téllez Girón Pimentel, hija de los IX duques de Osuna, condes-duques de Benavente, Pedro de Alcántara Téllez Girón Pimentel (1756-1807) y Ana Bermúdez de Castro. Hijos del matrimonio: María del Pilar Gayoso de los Cobos, que contrajo matrimonio con el VII conde de Toreno; Francisco de Borja Gayoso de los Cobos Bermúdez de Castro, que pasará a ser XIII marqués de Camarasa; Jacobo María Gayoso de los Cobos Bermúdez de Castro, quien, tras fallecer su hermano, pasará a ser XIV Marqués de Camarasa.