Zamisel o ustanovitvi kulturnega in izobraževalnega centra nasproti Berlinske palače sega v čas Friedricha Viljema IV., ki je sanjal o tem, da bi na tem mestu ustvaril svetišče za umetnost in znanost. Osnovni arhitekturni koncept Alte Nationalgalerie-tempeljski zgradbi, dvignjeni na podstavku, okrašenem z motivi iz antike – je prišel od samega kralja. Stavbo je zasnoval Friedrich August St.Bushbler, schinkelov študent, ki je zasnoval tudi Neues Museum. Dokončal ga je po smrti St. Prvotni zagon za gradnjo Nationalgalerie je bila zapuščina pruski državi leta 1861 od bankirja in konzula Johanna Heinricha Viljema Vagenerja, v zbirki katerega so bila dela Casparja Davida Friedricha, Karla Friedricha Schinkela, slikarjev iz šole D Marshsseldorf in zgodovinskih slikarjev iz Belgije. Zapuščina je prišla z določbo, da naj bodo slike javno razstavljene na 'primerni lokaciji'. Samo leto kasneje je St. Po desetih letih gradnje se je Narodna galerija slovesno odprla 21.marca 1876 za rojstni dan cesarja Viljema I. in postala tretji muzej na otoku v Spreeju.
Stavba je večkrat utrpela neposredne zadetke med zračnim bombardiranjem druge svetovne vojne, ki je utrpela veliko škodo, zlasti po letu 1944. Sama zbirka je bila z začetkom vojne postopoma evakuirana. Med drugim je bil shranjen v berlinskih protiletalskih stolpih v bližini živalskega vrta in v Friedrichshainu, pa tudi v skladiščih soli in pepelike v Merkersu in Graslebenu.
Po koncu vojne je bila stavba hitro, čeprav začasno obnovljena; njeni deli so bili ponovno odprti leta 1949. Drugo nadstropje je bilo obiskovalcem dostopno leto kasneje. Med delitvijo Nemčije so bile slike iz 19.stoletja, ki so preživele vojno na zahodnih okupacijskih območjih, nameščene v Neue Nationalgalerie, začenši leta 1968, in v Schloss Charlottenburggalerija romantike iz leta 1986. Po padcu Berlinskega zidu so bile rastoče zbirke združene v svoji prvotni zgradbi, ki se zdaj imenuje Alte Nationalgalerie, na berlinskem Muzeumsinsel. Namestitev zbirke je pomenila popravilo škode, ki jo je vojna povzročila stavbi, in dodajanje novih prostorov. Arhitekturno podjetje HG Merz Berlin je bilo to delo zaupano leta 1992. Marca 1998 je bila Alte Nationalgalerie zaprta zaradi prenove. Muzej je bil končno ponovno odprt decembra 2001 in je obeležil 125.obletnico.
