Hijo de García Álvarez de Toledo, alcalde mayor de Toledo, y de Mencía Téllez de Meneses. Fue hermano de Juan, Fernando y de Gutierre Gómez de Toledo, obispo de Palencia, arzobispo de Sevilla y de Toledo y canciller de la reina Juana Manuel.

Sirvió al rey Pedro I y fue nombrado mayordomo mayor de su hijo Alfonso XI y después de la reina Juana Manuel. Ingresó en 1359 en la Orden de Santiago de la que llegó a ser Trece. En esta época participó en las campañas contra Aragón y en el Mediterráneo contra los venecianos. Era uno de los hombres de confianza del monarca castellano, hasta tal punto que, en el testamento de 1362 del rey Pedro I, fue designado tutor de los hijos del rey. Al inicio de la guerra, tras la coronación de Enrique como rey de Castilla en 1366, los dos hermanos permanecían en el bando pedrista, a los que se les encargó la defensa de la ciudad de Toledo. Durante el sitio de Toledo por Enrique II , los hermanos capitularon y entregaron la plaza al Trastámara, cambiando de bando. Entonces, tuvo que renunciar al maestrazgo de Santiago, y a cambio le fue entregada la villa de Oropesa, la de Valdecorneja con Barco de Ávila y Piedrahita, y la de Horcajo, por privilegio de 9 de mayo de 1366. El 6 de junio de 1369, tras la batalla de Nájera, el rey le concedió también el señorío de Jarandilla y el de Tornavacas.

Se casó con Estefanía de Monroy, pero no tuvieron descendencia. Sin embargo, Enrique II llegó a legitimar a los hijos nacidos fuera del matrimonio en junio de 1369, falleciendo poco meses después en una de las batallas con Portugal. Dejó como heredero y II señor de Oropesa a su hijo mayor Fernando, y como tutor del menor a su hermano Fernando, casado con Leonor de Ayala, quienes usurparán o ocuparán los señorío de Barco de Ávila, Piedrahita y Valdecorneja. Este matrimonio, con estos señoríos, serán después el origen de la Casa de Alba de Tormes.