Ideja o osnivanju kulturnog i obrazovnog centra preko puta Berlinske palate datira iz vremena Friedricha Wilhelma IV, koji je sanjao o stvaranju 'svetišta za umjetnost i nauku' na tom mjestu. Osnovni arhitektonski koncept za Alte Nationalgalerie-hram nalik zgrada podignuta na postolju ukrašena motivima iz antike – došao je od samog kralja. Zgradu je projektovao Friedrich August Stüler, student Schinkela koji je takođe dizajnirao Muzej Neues. Nakon Stülerove smrti završio ga je još jedan Schinkelov student Johann Heinrich Strack. Početni podsticaj za izgradnju Nationalgalerie bio je zaveštanje Pruske države u 1861-u od bankara i konzula Johanna Heinricha Wilhelma Wagenera, čija je kolekcija sadržavala radove Caspara Davida Friedricha, Karla Friedricha Schinkela, slikara iz škole Düsseldorf i slikara istorije iz Belgije. Zaostavština je došla sa odredbom da se slike javno prikazuju na 'odgovarajućoj lokaciji'. Samo godinu dana kasnije Stüler je primio komisiju za izradu planova za zgradu. Nakon deset godina izgradnje Nationalgalerie svečano otvoren 21. marta 1876. godine za rođendan Kaiser Wilhelm I, postaje treći muzej na otoku u Spree.
Zgrada je pretrpjela direktne udarce u nekoliko navrata tokom zračnog bombardovanja Drugog svjetskog rata, održavajući veliku štetu posebno nakon 1944-a. Sama kolekcija postepeno je evakuisana sa početkom rata. Između ostalih mjesta, pohranjen je u berlinskim protivavionskim kulama u blizini zoološkog vrta i u Friedrichshainu, kao i u spremištima soli i potaša u Merkerima i Graslebenu.
Nakon završetka rata, zgrada je brzo obnovljena, a dijelovi su ponovno otvoreni 1949. Drugi sprat je učinjen dostupnim posjetiocima godinu dana kasnije. Tokom podjele Njemačke, Slike iz 19.stoljeća koje su preživjele rat u zapadnim zonama okupacije bile su smještene u Neue Nationalgalerie, počevši od 1968. godine, te u galeriji romantizma Schloss Charlottenburg iz 1986. godine. Nakon pada Berlinskog zida, rastuće kolekcije ujedinjene su u svoju originalnu zgradu, koja se sada naziva Alte Nationalgalerie, na Berlinskom Museumsinsel. Prilagođavanje kolekcije značilo je popravak štete koju je rat napravio zgradi, kao i dodavanje novih soba. Arhitektonskoj firmi HG Merz Berlin povjereno je ovo djelo 1992.godine. U martu 1998-a Alte Nationalgalerie je zatvorena zbog renoviranja. Muzej je konačno ponovo otvoren u decembru 2001. godine, obilježavajući svoju 125. godišnjicu.
