Alba de Tormes, futuro señorío, nace como consecuencia del fuero otorgado por Alfonso VII en 1140 al Concejo de Alba.

Alfonso X -siguiendo la política de concesión de amplias unidades jurisdiccionales a miembros de la familia real- entregó Alba de Tormes a su hijo, el infante Pedro de Castilla. Tras un breve periodo en el que pasa de nuevo a ser villa de realengo, es entregada a Alfonso de la Cerda en 1304, en virtud de la sentencia arbitral de Torrellas. Será señor de Alba de Tormes por un corto periodo de tiempo, pues en 1312 vuelve a pertenecer a jurisdicción realenga.

En 1411, con la dinastía Trastámara, el señorío pasa a manos de Fernando I de Aragón y, más tarde a las de su hijo, Juan II de Aragón.

En 1429 se concede el señorío al obispo de Palencia, Gutierre Álvarez de Toledo. Le sucede su sobrino, Fernando Álvarez de Toledo, futuro I conde de Alba de Tormes.