Hijo de Fadrique Vicente Álvarez de Toledo y de Juana Pérez de Guzmán. Casado con Teresa-Francisca Fernández de Córdoba Spínola, hija de Nicolás Fernández de Córdoba Figueroa y Aguilar, VI marqués de Montalbán, X duque de Medinaceli, IX marqués de Priego y de Gerónima María Spínola de la Cerda. En segundo lugar casa con María Antonia Dorotea Sinforosa Gonzaga y Caracciolo. Hijos del segundo matrimonio: María de la Encarnación Álvarez de Toledo y Gonzaga, casada con Juan de la Cruz Bellvís de Moncada y Pizarro, III marqués de Bélgida, José María del Carmen, XV duque de Medina Sidonia, IX marqués de Villafranca del Bierzo, María Ignacia Álvarez de Toledo y Gonzaga, casada con Vicente Joaquín Osorio de Moscoso y Guzmán, XI conde de Altamira, Francisco de Borja, XVI duque de Medina Sidonia, XII marqués de Villafranca del Bierzo, Pedro de Alcántara Álvarez de Toledo y Gonzaga, casado con Carmen López de Zúñiga y Chaves, X duquesa de Peñaranda de Duero y Buenaventura Álvarez de Toledo y Gonzaga.