Ideen om at etablere et kultur-og uddannelsescenter overfor Berlinpaladset går tilbage til Friedrich IVS tid, der drømte om at skabe et 'fristed for kunst og videnskab' på stedet. Det grundlæggende arkitektoniske koncept for Alte Nationalgalerie-en tempellignende bygning rejst på en sokkel dekoreret med motiver fra antikken – kom fra kongen selv. Bygningen blev designet af Friedrich August St. Larsler, en studerende fra Schinkel, der også designede Neues Museum. Det blev afsluttet efter St. Kurslers død af en anden af Schinkels studerende, Johann Heinrich Strack. Den første drivkraft for opførelsen af Nationalgaleriet var en arv til den preussiske stat i 1861 fra bankmand og konsul Johann Heinrich, hvis samling indeholdt værker af Caspar David Friedrich, Karl Friedrich Schinkel, malere fra D. Testamentet kom med bestemmelsen om, at malerierne skulle vises offentligt på et 'passende sted'. Blot et år senere modtog St. Larsler Kommissionen til at udarbejde planer for bygningen. Efter ti års opførelse åbnede Nationalgaleriet ceremonielt den 21. marts 1876 til fødselsdagen for Kaiser Vilhelm I og blev det tredje museum på øen i Spree.
Bygningen LED direkte hits ved flere lejligheder under luftbombardementet af Anden Verdenskrig, der opretholdt store skader, især efter 1944. Selve samlingen var gradvist blevet evakueret med krigens begyndelse. Det blev blandt andet opbevaret i Berlins luftfartstårne nær dyreparken og i Friedrichshain, såvel som i salt-og kaliumlagrene i Merkers og Grasleben.
Efter krigens afslutning blev bygningen hurtigt dog midlertidigt restaureret; dele af den blev genåbnet i 1949. Anden sal blev gjort tilgængelig for besøgende et år senere. Under delingen af Tyskland blev de malerier fra det 19.århundrede, der havde overlevet krigen i vestlige besættelsesområder, anbragt i Neue Nationalgalerie, der startede i 1968 og i Schloss Charlottenburgs Romantikgalleri fra 1986. Efter Berlinmurens fald blev de voksende samlinger forenet i deres oprindelige bygning, nu kaldet Alte Nationalgalerie, på Berlins Museumsinsel. At imødekomme samlingen betød at reparere den skade, krigen havde påført bygningen, samt tilføje nye værelser. Arkitektfirmaet Hg Berlin blev betroet dette arbejde i 1992. I marts 1998 blev Alte Nationalgalerie lukket for renovering. Museet blev endelig genåbnet i December 2001 og markerede sit 125-års jubilæum.
