Berlin Sarayı'nın karşısında bir kültür ve eğitim merkezi kurma fikri, bölgede 'sanat ve bilim için bir sığınak' yaratmayı hayal eden Friedrich Wilhelm Iv'ün zamanına dayanıyor. Alte Nationalgalerie'nin temel mimari konsepti - antik çağlardan kalma motiflerle süslenmiş bir kaide üzerinde yükselen tapınak benzeri bir bina - kralın kendisinden geldi. Bina, Neues Müzesi'ni de tasarlayan Schinkel'in öğrencisi Friedrich August Stüler tarafından tasarlandı. Stüler'in ölümünden sonra Schinkel'in öğrencilerinden Johann Heinrich Strack tarafından tamamlandı. Ulusal galerinin inşası için ilk itici güç, 1861'de bankacı ve konsolos Johann Heinrich Wilhelm Wagener'den Prusya devletine, koleksiyonunda Caspar David Friedrich, Karl Friedrich Schinkel, Düsseldorf okulu'ndan ressamlar ve Belçika'dan tarih ressamlarının eserleri yer alan bir vasiyetname idi. Vasiyetname, resimlerin 'uygun bir yerde' herkese açık olarak sergilenmesi şartı ile geldi. Sadece bir yıl sonra Stüler, bina için planlar hazırlamak üzere komisyonu aldı. On yıllık inşaattan sonra, Ulusal Galeri 21 Mart 1876'da Kaiser Wilhelm I'in doğum günü için törenle açıldı ve Spree'deki adadaki üçüncü müze oldu.
Bina, İkinci Dünya Savaşı'nın hava bombardımanı sırasında birçok kez doğrudan isabet aldı ve özellikle 1944'ten sonra ağır hasar gördü. Savaşın başlamasıyla birlikte koleksiyonun kendisi yavaş yavaş boşaltılmıştı. Diğer yerlerin yanı sıra Berlin'in hayvanat bahçesi ve Friedrichshain yakınlarındaki uçaksavar kulelerinde, Merkers ve Grasleben'deki tuz ve potas depolarında saklandı.
Savaşın sona ermesinden sonra, bina geçici olarak restore edilmiş olsa da hızlı bir şekilde restore edildi; bir kısmı 1949'da yeniden açıldı. İkinci kat bir yıl sonra ziyaretçilerin erişimine açıldı. Almanya'nın bölünmesi sırasında, Batı işgal bölgelerinde savaştan sağ kurtulan 19. yüzyıl resimleri, 1968'den başlayarak Neue Nationalgalerie'de ve 1986'dan itibaren Schloss Charlottenburg'un Romantizm Galerisi'nde yer aldı. Berlin Duvarı'nın yıkılmasından sonra, büyüyen koleksiyonlar, Berlin'in Museumsinsel'deki Alte Nationalgalerie olarak adlandırılan orijinal binalarında birleştirildi. Toplama konaklayan savaş binasına yeni oda ekleme gibi dövme vardı hasarları tamir etmek demekti. Mimarlık firması HG Merz Berlin 1992 yılında bu çalışmaya emanet edildi. Mart 1998'de Alte Nationalgalerie tadilat için kapatıldı. Müze nihayet 125. yıldönümünü kutlayarak Aralık 2001'de yeniden açıldı.
