Ideja izveidot kultūras un izglītības centru pāri no Berlīnes pils aizsākās laikā Frīdrihs Vilhelms IV, kurš sapņoja izveidot "patvērumu mākslas un zinātnes" uz vietas. Alte Nationalgalerie arhitektūras pamatkoncepcija-templim līdzīga ēka, kas pacelta uz cokola, kas dekorēta ar senatnes motīviem – nāca no paša karaļa. Ēku projektēja Šinkela students Frīdrihs Augusts Štīlers, kurš projektēja arī Neues muzeju. Pēc Štēlera nāves to pabeidza vēl viens no Šinkela studentiem Johans Heinrihs Straks. Sākotnējais impulss Valsts celtniecībaigalērija bija novēlējums Prūsijas valstij 1861. gadā no baņķiera un konsula Johana Heinriha Vilhelma Vagenera, kura kolekcijā bija Kaspara Deivida Frīdriha, Karla Frīdriha Šinkela, Diseldorfas skolas gleznotāju un vēstures gleznotāju no Beļģijas darbi. Novēlējums nāca ar nosacījumu, ka gleznas ir publiski izstādāmas "piemērotā vietā". Tikai gadu vēlāk Stüler saņēma komisiju, lai izstrādātu ēkas plānus. Pēc desmit gadu būvniecības Nacionālāsgalerie svinīgi atklāja 1876. gada 21. martā Kaisera Vilhelma I dzimšanas dienā, kļūstot par trešo Muzeju salā Spree.
Gaisa bombardēšanas laikā ēka vairākkārt cieta tiešus triecienus Otrais pasaules karš, nodarot smagus postījumus, īpaši pēc 1944.gada. Pati kolekcija pakāpeniski tika evakuēta līdz ar kara sākumu. Starp citām vietām tas tika glabāts Berlīnes pretgaisa torņos netālu no zooloģiskā dārza un Friedrichshain, kā arī sāls un potaša krātuvēs Merkersā un Graslebenā.
Pēc kara beigām ēka tika ātri atjaunota, lai arī provizoriski atjaunota; tās daļas tika atkārtoti atvērtas 1949.gadā. Otrais stāvs apmeklētājiem bija pieejams gadu vēlāk. Vācijas sadalīšanas laikā 19.gadsimta gleznas, kas bija pārdzīvojušas karu okupācijas Rietumu zonās, tika izmitinātas Neue Nationalgalerie, sākot ar 1968. gadu, un Schloss Charlottenburg ' S romantisma galerija no 1986. gada. Pēc Berlīnes mūra krišanas pieaugošās kolekcijas tika apvienotas to sākotnējā ēkā, ko tagad sauc par Alte Nationalgalerie, Berlīnes muzejos. Kolekcijas pielāgošana nozīmēja kara nodarīto postījumu labošanu ēkai, kā arī jaunu telpu pievienošanu. Arhitektūras firmai HG Merz Berlin šis darbs tika uzticēts 1992.gadā. 1998. gada martā Alte Nationalgalerie tika slēgta renovācijai. Muzejs beidzot tika atvērts 2001. gada decembrī, atzīmējot tā 125 gadu jubileju.
