Las obras de la Gran Vía comenzaron en 1910, su construcción se dividió en tres tramos, que fueron dedicados a sendos personajes relevantes de la época. La Avenida A se llamó calle Eduardo Dato; el Bulevar, avenida de Pi y Margall y la Avenida B, calle del Conde de Peñalver.

Tres meses antes de comenzar la Guerra Civil, en 1936, los dos primeros tramos pasaron a denominarse Avenida de la CNT. Ya en tiempos de la Guerra, serían conocidos como Avenida de Rusia. Este nombre volvería a cambiarse en noviembre de 1937 por el de Avenida de la Unión Soviética, colocándose una placa conmemorativa de piedra con los escudos de la II República Española y la Unión Soviética y el texto "Homenaje de los amigos de la URSS".

Durante este período también tuvo otros nombres populares como Avenida de los obuses o, la zona del bulevar, Avenida del quince y medio, en referencia a los proyectiles que el ejército franquista lanzaba sobre los pisos superiores del edificio de la Telefónica, que era usado como observatorio militar. En 1937 el tramo llamado Eduardo Dato recibió el nombre de avenida de México.

Al finalizar la Guerra Civil en 1939, con la victoria franquista y su entrada en Madrid, la calle pasó a llamarse Avenida de José Antonio, en homenaje a José Antonio Primo de Rivera, fundador de la Falange Española.

En 1981, durante la Transición Española y siendo alcalde de Madrid el socialista Enrique Tierno Galván, el Ayuntamiento cambió el nombre de veintisiete calles, entre ellas el de la Avenida de José Antonio, que desde entonces se denomina, por primera vez oficialmente, simplemente Calle Gran Vía.