Myšlenka zřízení kulturního a vzdělávacího centra naproti berlínskému paláci pochází z doby Friedricha Wilhelma IV., který snil o vytvoření "útočiště pro umění a vědu" na místě. Základní architektonický koncept pro Alte Nationalgalerie-chrámová budova postavená na soklu zdobeném motivy ze starověku-pocházela od samotného krále. Budovu navrhl Friedrich August Stüler, Student Schinkel, který také navrhl Neues Museum. Po Stülerově smrti jej dokončil další ze Schinkelových studentů Johann Heinrich Strack. Počáteční impuls pro výstavbu Národnígalerie byla odkázána pruskému státu v roce 1861 od bankéře a konzula Johanna Heinricha Wilhelma Wagenera, jehož sbírka obsahovala díla Caspara Davida Friedricha, Karla Friedricha Schinkela, malířů z düsseldorfské školy a malířů historie z Belgie. Odkaz přišel s ustanovením, že obrazy mají být veřejně vystaveny na "vhodném místě". Jen o rok později Stüler obdržel Komisi, aby vypracovala plány budovy. Po deseti letech výstavby Národnígalerie slavnostně otevřela 21. března 1876 k narozeninám císaře Wilhelma I. a stala se třetím muzeem na ostrově ve Spree.
Během leteckého bombardování druhé světové války byla budova několikrát zasažena přímými zásahy, zejména po roce 1944 utrpěla těžké škody. Samotná sbírka byla s nástupem války postupně evakuována. Mimo jiné byla uložena v berlínských protiletadlových věžích poblíž zoo a ve Friedrichshainu, stejně jako v úložištích soli a potaše v Merkers a Grasleben.
Po skončení války byla budova rychle, i když provizorně obnovena; jeho části byly znovu otevřeny v roce 1949. Druhé patro bylo zpřístupněno návštěvníkům o rok později. Během rozdělení Německa byly obrazy z 19. století, které přežily válku v západních okupačních zónách, umístěny v Neue Nationalgalerie od roku 1968 a v galerii romantismu Schloss Charlottenburg od roku 1986. Po pádu Berlínské zdi byly rostoucí sbírky sjednoceny v původní budově, nyní nazývané Alte Nationalgalerie, na Berlínském Museumsinsel. Uložení sbírky znamenalo opravu škod, které válka způsobila v budově, a přidání nových místností. Architektonická firma Hg Merz Berlin byla touto prací pověřena v roce 1992. V březnu 1998 byla Alte Nationalgalerie uzavřena kvůli rekonstrukci. Muzeum bylo konečně znovu otevřeno v prosinci 2001, při příležitosti jeho 125.výročí.
