La conformación del Archivo de la Nación podría remontarse a principios del siglo XVII, con la organización de la documentación existente en el Palacio virreinal, llevada a cabo por el virrey marqués de Montesclaros (1607-1615), quien convoca a Sancho de Salinas a hacerse cargo de dicho Archivo. Durante un largo período dicho fondo documental se mantuvo congregado en este repositorio.

El 13 de julio de 1822 a raíz del incendio suscitado en el despacho del Ministerio de Guerra, que funcionaba en las instalaciones del Palacio de Gobierno (Antiguo Palacio virreinal), el Archivo sufrió una considerable merma, la documentación que fue rescatada tuvo que ser trasladada a las instalaciones de la Prefectura, para más tarde ser alojados precariamente en el Convento de San Agustín.

A raíz de la fundación del Archivo Nacional de México, en 1846, se suscita en Perú un cierto interés por la creación de un archivo, pero no es hasta 1859, durante el gobierno del Mariscal Castilla, que el general Manuel de Mendiburu consigue la emisión de una resolución suprema que dispone la fundación del Archivo Nacional,en el se pretende reunir los dispersos Archivos de la Colonia y se toma como base la documentación depositada en el Convento de los padres agustinos.Este proyecto será retomado en 1861, con la promulgación de la ley del 15 de mayo que disponía la creación definitiva del archivo

El 18 de mayo de 1864 se nombró como primer director del Archivo Nacional a Santiago Távara, pero al no colmar las expectativas esperadas, el Gobierno de Prado lo suprime en 1865 mediante decreto de 29 de noviembre, alegando falta de recursos para su sostenimiento y la escasez de rentas que generaba para el erario. Se dispuso de esta forma que los documentos que conformaban el Archivo fueran depositados como parte de una sección de la Biblioteca Nacional.

Durante el Gobierno del Presidente Balta, el 28 de junio de 1870, se expide un decreto que devolvía su vigencia a la ley de 1861 y se asigna a la institución cuatro salas del local de la Biblioteca Nacional. En esa oportunidad los fondos del Archivo constaban de los antiguos archivos de la Contaduría General, de las Rentas Estancadas, de las Temporalidades, de Correos, y otros ramos y se incremento con la del Tribunal General de Minería que, en virtud de una Resolución Suprema paso a formar del Archivo Nacional.

La inauguración se efectúa el 20 de agosto de 1872 y dos días más tarde se dicta una nueva ley que organiza el Ministerio de Justicia, Instrucción, Culto y Beneficencia, con lo que queda definitivamente establecido el Archivo Nacional. Se nombra director a don Manuel María Bravo y el 18 de julio de 1873 se establece la Junta Inspectora del Archivo, con el objeto de prestar eficaz colaboración al Director.

En 1890 se recibe la documentación de las Cajas Reales y Ramo de Aduanas, y Real Hacienda, depositados antes en el Ministerio de Hacienda.

En el Gobierno de Piérola se dispuso la reorganización del Archivo y se nombra como director a don Luis Benjamín Cisneros, quien inicia su gestión el 12 de enero de 1897. Ese mismo año, en el mes de setiembre son retirados del Archivo por el Jefe del Archivo Especial de Límites, los documentos referentes a Límites, los cuales formarán part

e del Archivo que custodia el Ministerio de Relaciones Exteriores.

El 23 de marzo de 1904 es nombrado director Constantino R. Salazar, quien al no concitar el apoyo fiscal vio languidecer la institución. En los años de 1914-1915 se haría cargo de la dirección Luis Antonio Eguiguren, quien si pudo realizar una activa gestión.

El Gobierno de José Pardo, expidió el 17 de marzo de 1919 un decreto disponiendo nuevamente su reorganización, era director en estos tiempos Horacio H. Urteaga quien siguió en el cargo hasta 1944. Hasta entonces el Archivo había tenido sólo una Sección, la Histórica pero con esta norma se mandaba organizar la Sección Judicial y Notarial.. Durante este período se separa también su organización administrativa de la Biblioteca Nacional.

En 1923, mediante Ley Nº 4666 se desarrolla otra reorganización del Archivo Nacional y con el decreto del 26 de julio del mismo año se establecieron las secciones siguientes: Histórica, Judicial-Notarial, y Administrativa. En la Sección Histórica figurarán todos los documentos de este carácter que se custodian en el Archivo Nacional. En la Sección Judicial y Notarial figurarán todos los documentos emanados de las Cortes de Justicia, de los Juzgados de la República y de las Notarías Públicas.

En la Sección Administrativa figurarían todos los documentos existentes en los Archivos de los Ministerios de Estado. Se exceptuó de esta disposición al Archivo de Límites, que continuará conservándose en el Ministerio de RR. EE.

En 1943 tras el incendio producido en la Biblioteca Nacional se trasladan los fondos del Archivo Nacional a su actual local en el Palacio de Justicia.

En 1968 con la desaparición del Ministerio de Justicia y Culto pasa a formar parte del Instituto Nacional de Cultura.

Por decreto ley Nº 19268 del 11 de enero de 1972, dispositivo orgánico del Instituto Nacional de Cultura y el decreto ley 19414 que legisla sobre el Patrimonio Documental de la Nación se modifica la antigua denominación de Archivo Nacional que persistía desde 1861, convirtiéndose en Archivo General de la Nación, como Órgano de Ejecución de dicho Instituto. De esta forma se da un cambio a la estructura misma del sistema archivístico dándole una amplitud jurisdiccional, pues bajo él se encontrarían a todos los Archivos Departamentales.

Durante estos cambios se desempeñaba como director el Dr. Guillermo Durand Florez quien desarrollará sus actividades hasta 1983 por su loable labor desplegada en el Archivo General de la Nación y en pro de los Archivos se le ha denominado Padre de la Archivística Peruana. De esta forma, al reactivarse el Ministerio de Justicia gestiono su retorno, consiguiendo que mediante decreto legislativo Nº 117 de 12 de junio de 1981 en el que se aprueba la Ley Orgánica del Ministerio de Justicia se le establezca como uno de sus organismos públicos descentralizados, con autonomía administrativa y presupuestal, quienes coadyuvarían con éste para el desarrollo de sus funciones, así se señala en su artículo 33 al Archivo General de la Nación como el encargado de la defensa, conservación e incremento del patrimonio documental de la Nación. Esa misma fecha con Decreto Legislativo Nº 120 se aprueba la Ley Orgánica del Archivo General de la Nación estableciéndose su reestructuración para adecuarlo a las nuevas funciones que deberían asumir las unidades orgánicas que la conformarían, en ese sentido se remarca la importancia de dos órganos de línea encargados de ejecutar la política archivística del Estado, y por lo tanto con mayor nivel jerárquico sobre los demás órganos, para de esta forma tener capacidad de acción y evitar las trabas, estos dos organismos son el Archivo Intermedio y el Archivo Histórico. El Archivo General de la Nación inicia sus competencias relacionadas al Sector Justicia a partir del 1º de enero de 1982 para lo cual se aprueba el Reglamento de Organización y Funciones con el decreto supremo 007-82-JUS de fecha 22 de enero de 1982.

El 11 de junio de 1991 mediante la ley 25323, el Archivo General de la Nación es instituido como ente rector del Sistema Nacional de Archivos.

En 1993 mediante decreto supremo 005-93-JUS de fecha 17 de marzo de 1993 concluido el proceso de reorganización declarado para las entidades de la Administración Pública se modifica la estructura orgánica de la institución adecuándose así al planteamiento de la política estatal manifestada en la ley 25957. De esta forma se cambia de denominación a los dos órganos de línea, los cuales a la fecha siguen vigentes, estos son: la Dirección Nacional de Desarrollo Archivístico y Archivo Intermedio y la Dirección Nacional de Archivo Histórico