El Archivo Histórico Provincial de Álava tiene su origen legal en el decreto de 12 de noviembre de 1931, sobre régimen y denominación de los Archivos Históricos de Protocolos e Históricos Provinciales.

El 3 de marzo de 1932 se constituyó una Junta del Patronato del Archivo cuyo objetivo básico sería la conservación de los protocolos notariales con más de cien años de antigüedad.

Sin embargo, la inestabilidad política de la década y el estallido de la Guerra Civil española imposibilitaron conseguir un local adecuado para su instalación y los protocolos notariales acabaron amontonados en varias salas del Tribunal Tutelar de Menores de Vitoria, lo que provocó un gran deterioro en la documentación. Diez años después, los protocolos aún seguían sin ser debidamente atendidos y tratados, aunque en 1942 la Dirección General de Archivos y Bibliotecas nombró a un archivero y la Diputación Foral alavesa promovió diversas iniciativas para proporcionarles un local adecuado.

En 1947 se constituyó un nuevo Patronato del Archivo presidido por el Presidente de la Diputación Foral. El Archivo, dependiente de la Dirección General de Archivos y Bibliotecas, ya funcionaba regularmente en varias dependencias del Instituto de Enseñanza Media "Ramiro de Maeztu".

Como consecuencia de la política de creación de Casas de Cultura de los años sesenta y setenta del siglo XX y de la carencia de espacio en los locales del Instituto Ramiro de Maeztu, el Archivo Histórico Provincial de Álava se trasladó en 1976 a la recién creada Casa de Cultura de Vitoria, en el Paseo de la Florida: un edificio emblemático para la provincia y donde va a compartir instalaciones con la Biblioteca Pública Provincial.

Es a partir de entonces cuando el Archivo Histórico Provincial de Álava pudo comenzar a realizar sus funciones de archivo intermedio de la Administración Periférica del Estado, como establecía el Decreto 914/1969, de 8 de mayo (BOE del 26).

A partir de 1978 comenzó la incorporación de fondos documentales, que demostró nuevamente la falta de espacio para instalar la documentación y la necesidad de construir un edificio de nueva planta adecuado a su finalidad: recogida, conservación, descripción y difusión del patrimonio documental. Desde 2004, el Archivo Histórico Provincial de Álava está instalado en un moderno edificio de nueva planta situado en el distrito universitario de Vitoria-Gasteiz. Por sus características constituye hoy uno de los equipamientos de archivo más moderno y de mayor capacidad del País Vasco.