Los hermanos García y Fernán Alvarez de Toledo pertenecen a una ilustre familia afincada tiempo atrás en Toledo (la leyenda familiar los hace remontarse a Alfonso VI y su conquista). El canciller Pedro López de Ayala los cita por primera vez en 1354. El primero de los hermanos, García, debió entrar muy joven al servicio en la corte de Alfonso XI donde desarrollo una fulgurante carrera. En 1359 era ya maestre de la todopoderosa Orden de Santiago. En esta época participa en las campañas contra Aragón y en mediterráneo contra los venecianos. Era uno de los hombre de confianza del monarca castellano, hasta tal punto que, en el testamento de 1362 de Pedro I, es designado tutor de los hijos del rey.

Al inicio de la guerra fratricida tras la coronación de Enrique como rey de Castilla en 1366, los dos hermanos permanecían en el bando pedrista, a los que se les encarga la defensa de la ciudad de Toledo. Durante el sitio por el futuro Enrique II a Toledo, los hermanos capitulan y entregan la plaza al Trastámara, cambiando ambos de bando. El primero deberá renunciar al maestrazgo de Santiago, y a cambio le fue entregada la villa de Oropesa, la de Valdecorneja (con Barco de Ávila y Piedrahita) y Horcajo, por privilegio de 9 de mayo de 1366, lo que supondrá para el ex-maestre ser poseedor de un señorío propio con un enorme patrimonio territorial y vasallos sometidos a su jurisdicción. Años más tarde, como compensación por haber sido prisionero tras la batalla de Nájera, le concede también el señorío de Jarandilla y Tornavacas (privilegio de 6 de junio de 1369).

El I señor de oropesa, estuvo casado con Estefanía de Monroy, pero no tuvo con ella descendencia. Sin embargo, logrará que Enrique II legitime a sus hijos bastardos en 8 de junio de 1369, falleciendo poco después en una de las batallas con Portugal. Deja como heredero y II señor de Oropesa a su hijo mayor Fernan o Fernando, y como tutor del menor a su hermano Fernando, casado con Leonor de Ayala, quienes usurparán o ocuparán los señorío de Barco de Avila, Piedrahita y Valdecorneja. Este matrimonio, con estos señorío , serán el origen de la Casa de Alba de Tormes.