Myšlienka založenia kultúrneho a vzdelávacieho centra oproti berlínskemu palácu sa datuje do čias Friedricha Wilhelma IV., ktorý sníval o vytvorení svätyne pre umenie a vedu na mieste. Základný architektonický koncept pre Alte Nationalgalerie-chrámová budova postavená na sokli zdobená motívmi zo staroveku – pochádza od samotného kráľa. Budovu navrhol Friedrich August Stüler, študent Schinkel ktorý navrhol aj Neuesovo Múzeum. Dokončil ju po Stülerovej smrti ďalší zo Schinkelových študentov, Johann Heinrich Strack. Počiatočný impulz pre výstavbu Národnéhogaléria bola odkazom na pruský štát v roku 1861 od bankára a konzula Johanna Heinricha Wilhelma Wagenera, ktorého zbierka obsahovala diela Caspara Davida Friedricha, Karla Friedricha Schinkela, maliarov z düsseldorfskej školy a maliarov histórie z Belgicka. Odkaz prišiel s podmienkou, že obrazy majú byť verejne vystavené na vhodnom mieste. Len o rok neskôr dostal Stüler Komisiu na vypracovanie plánov budovy. Po desiatich rokoch výstavby Nationalgalerie slávnostne otvorila 21. Marca 1876 na narodeniny cisára Wilhelma I. a stala sa tretím múzeom na ostrove v Spree.
Budova niekoľkokrát utrpela priame zásahy počas letecké bombardovanie z Druhá svetová vojna, utrpel ťažké škody najmä po roku 1944. Samotná zbierka bola s nástupom vojny postupne evakuovaná. Okrem iného bol uložený v Berlínskych protilietadlových vežiach v blízkosti zoo a vo Friedrichshain, ako aj v úložiskách soli a potaše v Merkers a Grasleben.
Po skončení vojny bola budova rýchlo, hoci dočasne obnovená; jeho časti boli znovu otvorené v roku 1949. Druhé poschodie bolo sprístupnené návštevníkom o rok neskôr. Počas rozdelenie Nemecka, obrazy z 19.storočia, ktoré prežili vojnu v západných okupačných zónach, boli umiestnené v Neue Nationalgalerie, počnúc rokom 1968, a v Zámok Charlottenburggaléria romantizmu z roku 1986. Po páde Berlínskeho múru sa rastúce zbierky zjednotili v pôvodnej budove, ktorá sa dnes nazýva Alte Nationalgalerie, na Berlínskom Museumsinsel. Umiestnenie zbierky znamenalo opravu škôd, ktoré vojna spôsobila budove, ako aj pridanie nových miestností. Architektonická firma HG Merz Berlin bola touto prácou poverená v roku 1992. V marci 1998 bola Alte Nationalgalerie zatvorená z dôvodu rekonštrukcie. Múzeum bolo nakoniec znovu otvorené v decembri 2001 pri príležitosti jeho 125.výročia.
