Fue creado mediante una Orden de 8 de noviembre de 1939 como sección del Estado Mayor del Ejército. Sus fondos originarios fueron los procedentes del Depósito de la Guerra, la Comisión Histórica de las Campañas de Marruecos (creada en 1927 para reunir la documentación resultante de la actividad militar española en África) y el Archivo Histórico de la Campaña (creado por una Orden de Francisco Franco de 23 de junio de 1939 con el fin de reunir la documentación de la Guerra Civil Española y escribir una historia oficial de la misma).

La Norma 4/1988 de 26 de mayo del Estado Mayor del Ejército creó el Servicio Histórico Militar y Museo del Ejército, dentro del cual se encontraba la Subdirección de Historia Militar, Archivos y Bibliotecas, organizada en tres secretarías: la Secretaría de Estudios Históricos, Catalogación y Publicaciones, la Secretaría de Bibliotecas y la Secretaría de Archivos, de la que dependían el Archivo Central del Servicio Histórico Militar, el Archivo General Militar de Segovia, el Archivo General Militar de Guadalajara y el Archivo General del Cuartel General.

Finalmente, en virtud del Real Decreto 2598/1998, de 4 de diciembre, por el que se aprobaba el Reglamento de Archivos Militares, se creó el Instituto de Historia y Cultura Militar y el Archivo Central del Servicio Histórico Militar pasó a denominarse Archivo General Militar de Madrid.