Идея создания культурного и образовательного центра напротив Берлинского дворца восходит ко временам Фридриха Вильгельма IV, который мечтал создать на этом месте "святилище искусства и науки". Основная архитектурная концепция Alte Nationalgalerie - похожего на храм здания, возвышающегося на постаменте, украшенном античными мотивами, – была разработана самим королем. Здание было спроектировано Фридрихом Августом Штюлером, учеником Шинкеля, который также спроектировал Новый музей. Она была завершена после смерти Штюлера другим учеником Шинкеля, Иоганном Генрихом Штраком. Первоначальным толчком к строительству Национальной галереи стало завещание прусскому государству в 1861 году от банкира и консула Иоганна Генриха Вильгельма Вагенера, в коллекции которого были представлены работы Каспара Давида Фридриха, Карла Фридриха Шинкеля, художников дюссельдорфской школы и художников-историков из Бельгии. Завещание сопровождалось условием, что картины должны быть выставлены на всеобщее обозрение в "подходящем месте". Всего через год Штюлер получил заказ на разработку планов здания. После десяти лет строительства Национальная галерея торжественно открылась 21 марта 1876 года в день рождения кайзера Вильгельма I, став третьим музеем на острове Шпрее.
Здание несколько раз подвергалось прямым попаданиям во время воздушных бомбардировок Второй мировой войны, получив серьезные повреждения, особенно после 1944 года. Сама коллекция была постепенно эвакуирована с началом войны. Среди прочего, он хранился в зенитных башнях Берлина рядом с зоопарком и во Фридрихсхайне, а также в хранилищах соли и калия в Меркерсе и Граслебене.
После окончания войны здание было быстро, хотя и временно восстановлено; некоторые его части были вновь открыты в 1949 году. Второй этаж был открыт для посетителей год спустя. Во время раздела Германии картины 19-го века, пережившие войну в западных зонах оккупации, с 1968 года размещались в Новой национальной галерее, а с 1986 года - в Галерее романтизма замка Шарлоттенбург. После падения Берлинской стены растущие коллекции были объединены в их первоначальном здании, которое теперь называется Alte Nationalgalerie, на берлинском Museumsinsel. Размещение коллекции означало восстановление ущерба, нанесенного зданию войной, а также добавление новых комнат. Эта работа была поручена архитектурной фирме HG Merz Berlin в 1992 году. В марте 1998 года Национальная галерея была закрыта на ремонт. Музей был, наконец, вновь открыт в декабре 2001 года, отмечая свое 125-летие.
