Gagasan untuk mendirikan pusat budaya dan pendidikan di Seberang Istana Berlin berasal dari zaman Friedrich Wilhelm IV, yang bermimpi menciptakan 'tempat perlindungan bagi seni dan sains' di situs tersebut. Konsep arsitektur dasar untuk Alte Nationalgalerie – bangunan seperti kuil yang dibangun di atas alas yang dihiasi dengan motif dari zaman kuno – berasal dari raja sendiri. Bangunan ini dirancang oleh Friedrich August St. Alberler, seorang mahasiswa Schinkel yang juga merancang Museum Neues. Itu selesai setelah kematian St Multinler oleh siswa Schinkel lainnya, Johann Heinrich Strack. Dorongan awal untuk pembangunan Nationalgalerie adalah warisan kepada negara Prusia pada tahun 1861 dari bankir dan Konsul Johann Heinrich Wilhelm Wagener, yang koleksinya menampilkan karya Caspar David Friedrich, Karl Friedrich Schinkel, pelukis dari sekolah D Jersseldorf, dan pelukis sejarah dari Belgia. Warisan itu datang dengan ketentuan bahwa lukisan-lukisan itu akan dipajang di depan umum di 'lokasi yang cocok'. Hanya satu tahun kemudian St Svetller menerima komisi untuk menyusun rencana pembangunan. Setelah sepuluh tahun konstruksi Nationalgalerie upacara dibuka pada 21 Maret 1876 untuk ulang tahun Kaiser Wilhelm I, menjadi museum ketiga di pulau di Spree.
Bangunan itu mengalami serangan langsung pada beberapa kesempatan selama pemboman udara dari Perang Dunia Kedua, mengalami kerusakan parah terutama setelah 1944. Koleksi itu sendiri secara bertahap telah dievakuasi dengan permulaan Perang. Di antara tempat-tempat lain, itu disimpan di menara anti-pesawat Berlin dekat Kebun binatang dan di Friedrichshain, serta di repositori garam dan kalium di Merkers dan Grasleben.
Setelah perang berakhir, bangunan itu dengan cepat meskipun untuk sementara dipulihkan; sebagian dibuka kembali pada tahun 1949. Lantai dua dapat diakses oleh pengunjung satu tahun kemudian. Selama pembagian Jerman, lukisan abad ke-19 yang selamat dari perang di Zona pendudukan Barat disimpan di Neue Nationalgalerie, mulai tahun 1968, dan di Schloss Charlottenburg Galeri Romantisisme dari tahun 1986. Setelah runtuhnya Tembok Berlin, koleksi yang tumbuh disatukan dalam bangunan aslinya, sekarang disebut Alte Nationalgalerie, di Museumsinsel Berlin. Menampung koleksi berarti memperbaiki kerusakan yang ditimbulkan perang pada gedung serta menambah kamar baru. Firma arsitektur Hg Merz Berlin dipercayakan dengan pekerjaan ini pada tahun 1992. Pada bulan Maret 1998 Alte Nationalgalerie ditutup untuk renovasi. Museum ini akhirnya dibuka kembali pada Desember 2001, menandai hari jadinya yang ke-125.
