La idea de establecer un centro cultural y educativo frente al Palacio de Berlín se remonta a la época de Federico Guillermo IV, que soñaba con crear un "santuario para el arte y la ciencia" en el lugar. El concepto arquitectónico básico de la Alte Nationalgalerie -un edificio en forma de templo levantado sobre un zócalo decorado con motivos de la antigüedad- partió del propio rey. El edificio fue diseñado por Friedrich August Stüler, un alumno de Schinkel que también diseñó el Neues Museum. Tras la muerte de Stüler, lo terminó otro alumno de Schinkel, Johann Heinrich Strack. El impulso inicial para la construcción de la Galería Nacional fue un legado al Estado prusiano en 1861 del banquero y cónsul Johann Heinrich Wilhelm Wagener, cuya colección incluía obras de Caspar David Friedrich, Karl Friedrich Schinkel, pintores de la escuela de Düsseldorf y pintores de historia de Bélgica. El legado incluía la condición de que los cuadros se expusieran públicamente en un "lugar adecuado". Sólo un año después, Stüler recibió el encargo de elaborar los planos del edificio. Tras diez años de construcción, la Nationalgalerie se inauguró ceremoniosamente el 21 de marzo de 1876 con motivo del cumpleaños del Kaiser Guillermo I, convirtiéndose en el tercer museo de la isla del Spree.
El edificio sufrió impactos directos en varias ocasiones durante los bombardeos aéreos de la Segunda Guerra Mundial, sufriendo graves daños sobre todo a partir de 1944. La propia colección fue evacuada gradualmente con el inicio de la guerra. Entre otros lugares, se almacenó en las torres antiaéreas de Berlín cerca del zoo y en Friedrichshain, así como en los depósitos de sal y potasa de Merkers y Grasleben.
Tras el final de la guerra, el edificio se restauró rápidamente, aunque de forma provisional; algunas partes se reabrieron en 1949. La segunda planta se hizo accesible a los visitantes un año después. Durante la división de Alemania, las pinturas del siglo XIX que habían sobrevivido a la guerra en las zonas de ocupación occidentales se alojaron en la Neue Nationalgalerie, a partir de 1968, y en la Galería del Romanticismo de Schloss Charlottenburg desde 1986. Tras la caída del muro de Berlín, las crecientes colecciones se unieron en su edificio original, ahora llamado Alte Nationalgalerie, en la Museumsinsel de Berlín. Acomodar la colección significó reparar los daños que la guerra había causado en el edificio, así como añadir nuevas salas. El estudio de arquitectura HG Merz Berlin se encargó de esta tarea en 1992. En marzo de 1998 se cerró la Alte Nationalgalerie para su renovación. El museo se reabrió finalmente en diciembre de 2001, con motivo de su 125º aniversario.
