El título de Conde de Olivares se concede en 1539 por el rey Carlos I a Don Pedro de Guzmán, Mayordomo Mayor del Rey y Caballero de Calatrava. El III conde, Don Gaspar de Guzmán y Pimentel, valido de Felipe IV, es nombrado Duque y por tanto, Grande de España por el rey en 1621.

La denominación de "Conde-Duque" fue concedida por Alfonso XII en 1882.

El título lo detenta la actual Duquesa de Alba de Tormes.

Los primeros que ostentaron el titulo de conde fueron:

- I Conde de Olivares: Pedro de Guzmán y Zúñiga

-II Conde de Olivares: Enrique de Guzmán y Ribera

-III Conde de Olivares: Gaspar de Guzmán y Pimentel

El fondo documental del Condado-Ducado de Olivares procede de la Sección Diversos del AHN (Madrid), en donde ingresa por compra en el año 1982. Se traslada a la Sección Nobleza del AHN (Toledo) en marzo de 1995.

Se compone de documentación relativa a las propiedades y títulos de esta rama menor del linaje de Medina Sidonia, es decir, los mayorazgos y títulos de Olivares, Sanlucar la Mayor, Mairena y Medina de las Torres. El grueso de la documentación (siglo XVII) es de carácter patrimonial, propiedades rentas y derechos de dichos títulos.