Ідэя стварэння культурнага і адукацыйнага цэнтра насупраць Берлінскага палаца ўзыходзіць да часоў Фрыдрыха Вільгельма IV, які марыў стварыць на гэтым месцы "сьвятыню мастацтва і навукі". Асноўная архітэктурная канцэпцыя Alte Nationalgalerie-падобнага на храм будынка, які ўзвышаецца на пастаменце, упрыгожаным антычнымі матывамі, - была распрацавана самім каралём. Будынак быў спраектаваны Фрыдрыхам Аўгустам Шцюлерам, вучнем Шынкеля, які таксама спраектаваў Новы музей. Яна была завершана пасля смерці Шцюлера Іншым вучнем Шынкеля, Іаганам Генрыхам Штракам. Першапачатковым штуршком да будаўніцтва Нацыянальнай галерэі стала завяшчанне прускага дзяржаве ў 1861 годзе ад банкіра і консула Іагана Генрыха Вільгельма Вагенера, у калекцыі якога былі прадстаўлены работы Каспара Давіда Фрыдрыха, Карла Фрыдрыха Шынкеля, мастакоў дзюсельдорфскай школы і мастакоў-гісторыкаў з Бельгіі. Завяшчанне суправаджалася умовай, што карціны павінны быць выстаўлены на ўсеагульны агляд у "падыходным месцы". Усяго праз год Шцюлер атрымаў заказ на распрацоўку планаў будынка. Пасля дзесяці гадоў будаўніцтва Нацыянальная галерэя ўрачыста адкрылася 21 сакавіка 1876 года ў дзень нараджэння кайзера Вільгельма I, стаўшы трэцім музеем на востраве Шпрее. Будынак некалькі разоў падвяргаўся прамым трапленню падчас паветраных бамбардзіровак Другой сусветнай вайны, атрымаўшы сур'ёзныя пашкоджанні, асабліва пасля 1944 года. Сама калекцыя была паступова эвакуяваная з пачаткам вайны. Сярод іншага, ён захоўваўся ў зенітных вежах Берліна побач з заапаркам і ў Фрыдрыхсхайне, а таксама ў сховішчах солі і калія ў Меркерсе і Граслебене. Пасля заканчэння вайны будынак быў хутка, хоць і часова адноўлена; некаторыя яго часткі былі зноў адкрыты ў 1949 годзе. Другі паверх быў адкрыты для наведвальнікаў праз год. Падчас падзелу Нямеччыны карціны 19-га стагоддзя, якія перажылі вайну ў заходніх зонах акупацыі, з 1968 года размяшчаліся ў новай нацыянальнай галерэі, а з 1986 года - у галерэі рамантызму замка Шарлотэнбург. Пасля падзення Берлінскай сцяны растуць калекцыі былі аб'яднаны ў іх першапачатковым будынку, якое цяпер называецца Alte Nationalgalerie, на Берлінскім Museumsinsel. Размяшчэнне калекцыі азначала аднаўленне шкоды, нанесенай будынку вайной, а таксама даданне новых пакояў. Гэтая праца была даручана архітэктурнай фірме HG Merz Berlin ў 1992 годзе. У сакавіку 1998 года Нацыянальная галерэя была зачынена на рамонт. Музей быў, нарэшце, зноў адкрыты ў снежні 2001 года, адзначаючы сваё 125-годдзе.