El condado de Olivares se crea por Carlos I, en 1539, y se concede a Pedro de Guzmán, Mayordomo Mayor del Rey, Caballero de Calatrava, Contador Mayor de Castilla que era hijo del III duque de Medina-Sidonia.

Gaspar de Guzmán y Pimentel, III conde de Olivares es creado duque, -duque de San Lúcar La Mayor- en 1625 por Felipe V, de quién era su valido. Desde esa concesión, Gaspar de Guzmán, comenzó a llamarse "conde duque" aunque tras su fallecimiento los títulos de Olivares y San Lúcar la Mayor se separan.

Es Alfonso XIII quién en 1888 establece que el título de Conde de Olivares, pase a denominarse oficialmente Condado-ducado de Olivares.