Idėja įkurti kultūros ir švietimo centrą priešais Berlyno rūmus kilo Friedricho Vilhelmo IV laikais, kuris svajojo sukurti meno ir mokslo šventovę šioje vietoje. Pagrindinė alte Nationalgalerija-į šventyklą panašus pastatas, iškeltas ant Antikos motyvais dekoruoto cokolio-kilo iš paties karaliaus. Pastatą suprojektavo Schinkelio studentas Friedrichas Augustas St ❶leris, kuris taip pat suprojektavo Neues muziejų. Jis buvo baigtas po Stofrenlerio mirties kito Schinkelio studento Johanno Heinricho Stracko. Pradinis postūmis Nacionalinės dailės statybai buvo bankininko ir konsulo palikimas Prūsijos valstybei Johanas Heinrichas Vilhelmas Vageneris, kurio kolekcijoje buvo Kasparo Davido Friedricho, Karlo Friedricho Schinkelio, dailininkų iš Dofrensseldorfo mokyklos ir istorijos dailininkų iš Belgijos darbai. Palikimas buvo su sąlyga, kad paveikslai turi būti viešai rodomi tinkamoje vietoje. Vos po vienerių metų St ❶leris gavo Komisiją parengti pastato planus. Po dešimties metų statybos Nacionalinėgalerija iškilmingai atidaryta 21 Kovo 1876 dėl kaizerio Vilhelmo I gimtadienio, tampa trečiuoju salos muziejumi Šprė.
Pastatas kelis kartus patyrė tiesioginius smūgius bombarduojant iš oro Antrasis pasaulinis karas, patyręs didelę žalą, ypač po 1944 m. Prasidėjus karui, pati kolekcija buvo palaipsniui evakuota. Be kitų vietų, jis buvo saugomas Berlyno priešlėktuviniuose bokštuose netoli zoologijos sodo ir Friedrichshain, taip pat druskos ir kalio saugyklose Merkers ir Grasleben.
Pasibaigus karui, pastatas buvo greitai, nors ir laikinai restauruotas; 1949 m. jo dalys buvo vėl atidarytos. Antrasis aukštas lankytojams buvo prieinamas po metų. Vokietijos padalijimo metu 19-ojo amžiaus paveikslai, išgyvenę karą Vakarų okupacinėse zonose, buvo apgyvendinti Neue Nationalgalerie, pradedant 1968 m., ir Schloss Charlottenburg romantizmo galerijoje nuo 1986 m. Po Berlyno sienos griūties augančios kolekcijos buvo suvienytos originaliame pastate, dabar vadinamame Alte Nationalgalerie, Berlyno muziejuje. Kolekcijos pritaikymas reiškė žalos, kurią karas padarė pastatui, atitaisymą, taip pat naujų kambarių pridėjimą. 1992 m. šis darbas buvo patikėtas architektūros firmai Hg Merz Berlin. 1998 m. Kovo mėn Alte Nationalgalerie buvo uždarytas renovacijai. Galiausiai muziejus buvo atidarytas 2001 m. gruodžio mėn., pažymint 125-ąsias metines.
