Hijo de Pedro Fernández de Velasco Tovar (1633-1713), II marqués del Fresno, y de Antonia de Bracamonte Portocarrero Luna (-1703), V condesa de Peñaranda de Bracamonte. Heredó el mayorazgo de Peñaranda con problemas de acreedores, con la pérdida de parte de las rentas reales.

Fue caballero y comendador de Portezuelo en 1729 de la Orden de Alcántara y nombrado gentilhombre de la Real Cámara del Rey. En este cargo le confirmó Felipe V al ocupar el trono en 1701, otorgándole además la Grandeza de España dos años después. En 1706 se le prohíbe la entrada a Palacio, aunque el rey le hizo desempeñar interinamente el gobierno de la Real Cámara en varias ocasiones. Fue designado sumiller de corps en 1728.

Las capitulaciones matrimoniales se firmaron el 28 de mayo de 1705 en Madrid. Se casó en las casas de la Cruzada en Madrid el 31 de mayo de 1705 con Manuela Pimentel de Zúñiga, hija de Francisco Casimiro Antonio Pimentel de Quiñones Benavides, conde-duque de Benavente, y de Manuela de Zúñiga Sarmiento, II duquesa de Arión, con la siguiente descendencia:

1º Antonia Cayetana Benita. Nació el 8 de marzo de 1706 y fue bautizada en la parroquia de San Martín de Madrid el 18 de marzo.

2º Bernardino Fernández de Velasco Pimentel. Nació el 27 de mayo de 1707 y fue bautizado en la parroquia de San Martín de Madrid el 3 de junio de 1707. Muere en 1771. VII conde de Peñaranda de Bracamonte, XI duque de Frías.

3ª Teresa Francisca de Paula Fernández de Velasco Pimentel. Nació el 26 de abril de 1708. Fue bautizada en la iglesia de San Martín de Madrid el 5 de mayo de 1708.

4º Manuel Secundino Ramón Fernández de Velasco Pimentel. Nació el 28 de mayo de 1709. Fue bautizada en la iglesia de San Martín de Madrid. IV marqués de Fresno. Fue bautizado en la iglesia de San Martín de Madrid el 28 de mayo de 1709.

5ª Ignacia Francisca de Paula Fernández de Velasco Pimentel (1710-) Fue bautizada en la iglesia de San Martín de Madrid el 9 de agosto de 1710.

6ª Francisca de Paula Teresa Fernández de Velasco Pimentel (1711-) Fue bautizada en la iglesia de San Martín de Madrid el 14 de octubre de 1711.

7ª María de la Concepción Fernández de Velasco Pimentel, casada con el marqués de Alcañices y de Montaos.

8º Baltasar Joaquín Fernández de Velasco Pimentel (1717-) Fue bautizado en la iglesia de San Martín de Madrid el 13 de enero de 1717.

9º José Segundo Fernández de Velasco Pimentel (1718-) Fue bautizado en la iglesia de San Martín de Madrid el 4 de abril de 1718.

10º Joaquín Francisco de Paula Fernández de Velasco Pimentel (1719-) Fue bautizado en la iglesia de San Martín de Madrid el 16 de diciembre de 1719.

11º Martín Fernández de Velasco Pimentel (1729-1776), seguirá en la línea de sucesión como V duque de Arión y marqués del Fresno, casado con Isabel María Spínola.