El Archivo Histórico Ferroviario (AHF) se crea el 10 de abril de 1979 por decisión del Consejo de Administración de RENFE tomada en su sesión número 574. Nace dependiente de la Secretaría del Consejo con el fin de recoger, organizar, evaluar, gestionar y difundir el conocimiento de la historia del ferrocarril en España y con la intención de impulsar la conservación del patrimonio histórico documental. Su origen se remonta al antiguo Servicio Común de Estudios de las Compañías del Norte y Madrid-Zaragoza-Alicante (MZA), que había sido creado en 1923 para la gestión documental y que quedó como anejo a la Secretaría del Consejo Directivo de la zona Norte. Dicho Servicio Común sería el embrión del Servicio de Estudios del Consejo de Administración de RENFE, creado el 1 de mayo de 1941, que fue el impulsor del Archivo Histórico Ferroviario. En 1985, tras la creación de la Fundación de los Ferrocarriles Españoles (FFE), el Archivo Histórico quedó englobado dentro de la Dirección de Documentación y Archivo Histórico Ferroviario, siendo sus funciones las de "conservar, sostener y enriquecer el Archivo Histórico de los Ferrocarriles Españoles, facilitando su acceso al público en general".

Esta situación se mantuvo hasta julio de 2010 cuando, tras llevarse a cabo una reestructuración de la Fundación de los Ferrocarriles Españoles, el Archivo Histórico Ferroviario y la Biblioteca Ferroviaria pasaron a integrase en el Museo del Ferrocarril de Madrid. En este proceso el Archivo Histórico reunió las diferentes colecciones y archivos fotográficos existentes hasta ese momento para constituir una Fototeca única.

Por su parte, el Museo del Ferrocarril de Madrid tiene su origen en la década de 1930, cuando las antiguas compañías de ferrocarril, principalmente MZA, Norte, Oeste y Andaluces, iniciaron un acopio de piezas ferroviarias significativas con la intención de crear un museo ferroviario. Esta importante labor de concentración estuvo enfocada a la conservación de objetos, documentos y locomotoras hasta entonces dispersos por todo el país, pero la Guerra Civil interrumpió este proyecto, que no sería retomado hasta la década de 1960, cuando gracias al impulso de Francisco Wais Sanmartín, su primer director, se consiguió abrir un pequeño salón museo en el Palacio de Fernán Núñez, en las mismas instalaciones que posteriormente acogerían también al Archivo Histórico Ferroviario y a la Biblioteca Ferroviaria. La creación del Museo del Ferrocarril de Madrid tuvo lugar en virtud de la circular número 481 de la Dirección General de RENFE de 1967.

Cuando la estación de Madrid-Delicias fue clausurada en 1971 se empezó a pensar en sus instalaciones como un posible lugar donde albergar el Museo del Ferrocarril. En 1980 se firmó un acuerdo entre la empresa ferroviaria, el Ministerio de Cultura y el Ministerio de Industria en virtud del cual se procedió a la restauración del edificio para acoger el Museo Nacional Ferroviario y el Museo Nacional de la Ciencia y la Tecnología.

Actualmente tanto el Archivo Histórico Ferroviario como la Biblioteca Ferroviaria dependen del Museo del Ferrocarril de Madrid, que está integrado en el organigrama de la Fundación de los Ferrocarriles Españoles. La unión del museo, el archivo y la biblioteca constituye un marco excepcional para la conservación integral del patrimonio museológico, bibliográfico y documental ferroviario. El AHF, como heredero de los fondos documentales de las antiguas compañías ferroviarias y de la propia RENFE, es en la actualidad el más importante archivo español sobre las empresas ferroviarias que operaron en nuestro país durante el denominado periodo del ferrocarril privado.