Ідея створення культурного та освітнього центру навпроти Берлінського палацу сходить до часів Фрідріха Вільгельма IV, який мріяв створити на цьому місці "святилище мистецтва і науки". Основна архітектурна концепція Alte Nationalgalerie-схожого на храм будівлі, що підноситься на постаменті, прикрашеному античними мотивами, - була розроблена самим королем. Будівля була розроблена Фрідріхом Августом Штюлером, студентом Шинкеля, який також спроектував Новий музей. Вона була завершена після смерті Штюлера іншим учнем Шинкеля, Йоганном Генріхом Штраком. Початковим поштовхом до будівництва національної галереї став заповіт прусській державі в 1861 році від банкіра і консула Йоганна Генріха Вільгельма Вагенера, в колекції якого були представлені роботи Каспара Давида Фрідріха, Карла Фрідріха Шинкеля, художників Дюссельдорфської школи і художників-істориків з Бельгії. Заповіт супроводжувалося умовою, що картини повинні бути виставлені на загальний огляд в "відповідному місці". Всього через рік Штюлер отримав замовлення на розробку планів будівлі. Після десяти років будівництва Національна галерея урочисто відкрилася 21 березня 1876 року в день народження кайзера Вільгельма I, ставши третім музеєм на острові Шпрее.
Будівля кілька разів піддавалася прямим попаданням під час повітряних бомбардувань Другої світової війни, отримавши серйозні пошкодження, особливо після 1944 року. Сама колекція була поступово евакуйована з початком війни. Серед іншого, він зберігався в зенітних вежах Берліна поруч із зоопарком і у Фрідріхсхайні, а також у сховищах солі і калію в Меркерсі і Граслебені.
Після закінчення війни будівля була швидко, хоча і тимчасово відновлено; деякі його частини були знову відкриті в 1949 році. Другий поверх був відкритий для відвідувачів рік по тому. Під час розділу Німеччини картини 19-го століття, що пережили війну в західних зонах окупації, з 1968 року розміщувалися в Новій Національній галереї, а з 1986 року - в галереї романтизму замку Шарлоттенбург. Після падіння Берлінської стіни зростаючі колекції були об'єднані в їх первісному будинку, яке тепер називається Alte Nationalgalerie, на Берлінському Museumsinsel. Розміщення колекції означало відновлення шкоди, завданої будівлі війною, а також додавання нових кімнат. Ця робота була доручена архітектурній фірмі HG Merz Berlin в 1992 році. У березні 1998 року Національна галерея була закрита на ремонт. Музей був, нарешті, знову відкритий у грудні 2001 року, відзначаючи своє 125-річчя.
