Idea utworzenia Centrum Kulturalno-edukacyjnego naprzeciwko Pałacu Berlińskiego sięga czasów Fryderyka Wilhelma IV, który marzył o stworzeniu na tym miejscu "Sanktuarium sztuki i nauki". Podstawowa koncepcja architektoniczna Alte Nationalgalerie-przypominającego świątynię budynku wzniesionego na cokole ozdobionym motywami antycznymi – pochodziła od samego króla. Budynek został zaprojektowany przez Friedricha Augusta Stülera, studenta Schinkla, który zaprojektował również Neues Museum. Został on ukończony po śmierci Stülera przez innego ucznia Schinkla, Johanna Heinricha Stracka. Pierwszym impulsem do budowy Nationalgalerie był zapis do państwa pruskiego w 1861 roku od bankiera i konsula Johanna Heinricha Wilhelma Wagenera, którego kolekcja zawierała prace Caspara Davida Friedricha, Karla Friedricha Schinkla, malarzy ze szkoły w Düsseldorfie i malarzy historycznych z Belgii. W zapisie zapisano, że obrazy mają być publicznie wystawione w "odpowiednim miejscu". Zaledwie rok później Stüler otrzymał zlecenie sporządzenia planów budynku. Po dziesięciu latach budowy Nationalgalerie uroczyście otwarto 21 marca 1876 roku z okazji urodzin Cesarza Wilhelma I, stając się trzecim Muzeum na wyspie w Szprewie.
Budynek kilkakrotnie ucierpiał podczas bombardowań lotniczych II Wojny Światowej, ponosząc duże zniszczenia, szczególnie po 1944 roku. Sama kolekcja była stopniowo ewakuowana wraz z wybuchem wojny. Przechowywano go między innymi w berlińskich wieżach przeciwlotniczych w pobliżu zoo i we Friedrichshain, a także w magazynach soli i potażu w Merkers i Grasleben.
Po zakończeniu wojny budynek został szybko, choć tymczasowo odrestaurowany; jego część została ponownie otwarta w 1949 roku. Drugie piętro zostało udostępnione zwiedzającym rok później. W czasie podziału Niemiec XIX-wieczne obrazy, które przetrwały wojnę w zachodnich strefach okupacji, od 1968 roku znajdowały się w Neue Nationalgalerie, a od 1986 roku w Galerii romantyzmu Schloss Charlottenburg. Po upadku Muru Berlińskiego, rosnące zbiory zostały połączone w swoim oryginalnym budynku, obecnie nazywanym Alte Nationalgalerie, przy berlińskim Museumsinsel. Przyjęcie kolekcji oznaczało naprawę zniszczeń wojennych w budynku, a także dodanie nowych pomieszczeń. Prace te powierzono firmie architektonicznej Hg Merz Berlin w 1992 roku. W marcu 1998 roku Alte Nationalgalerie została zamknięta z powodu remontu. Muzeum zostało PONOWNIE OTWARTE w grudniu 2001 roku, z okazji 125-lecia istnienia.
