Idea untuk menubuhkan pusat kebudayaan dan pendidikan di seberang istana Berlin bermula pada zaman Friedrich Wilhelm IV, yang bermimpi mewujudkan 'tempat perlindungan untuk seni dan sains' di laman web ini. Konsep seni bina asas untuk Alte Nationalgalerie-sebuah bangunan seperti kuil yang dibesarkan di atas tiang yang dihiasi dengan motif dari zaman kuno – berasal dari raja sendiri. Bangunan ini dirancang oleh Friedrich August St Analocler, seorang pelajar Schinkel yang juga merancang Muzium Neues. Ia selesai setelah kematian St Biosler oleh pelajar Schinkel yang lain, Johann Heinrich Strack. Dorongan awal untuk pembinaan Nationalgalerie adalah permintaan kepada negara Prusia pada tahun 1861 dari pegawai bank dan konsul Johann Heinrich Wilhelm Wagener, yang koleksinya menampilkan karya oleh Caspar David Friedrich, Karl Friedrich Schinkel, pelukis dari Sekolah D Bluessseldorf, dan pelukis sejarah dari Belgium. Permintaan itu disertakan dengan ketentuan bahawa lukisan-lukisan itu akan dipamerkan secara terbuka di 'lokasi yang sesuai'. Hanya satu tahun kemudian, St Di Sini menerima komisen untuk menyusun rancangan untuk bangunan tersebut. Setelah sepuluh tahun pembinaan Nationalgalerie dibuka secara istiadat pada 21 Mac 1876 untuk ulang tahun Kaiser Wilhelm I, menjadi muzium ketiga di pulau itu di Spree.
Bangunan ini mengalami serangan langsung pada beberapa kesempatan semasa pengeboman udara Perang Dunia Kedua, mengalami kerosakan besar terutama setelah tahun 1944. Koleksi itu sendiri secara beransur-ansur dievakuasi dengan bermulanya Perang. Di antara tempat-tempat lain, ia disimpan di menara anti-pesawat Berlin berhampiran zoo dan di Friedrichshain, serta di repositori garam dan potash di Merkers dan Grasleben.
Selepas perang berakhir, bangunan itu dengan cepat walaupun dipulihkan sementara; sebahagiannya dibuka semula pada tahun 1949. Tingkat dua Boleh diakses oleh pelawat setahun kemudian. Semasa pembahagian Jerman, lukisan abad ke-19 yang telah bertahan dari perang di zon pendudukan Barat ditempatkan di Neue Nationalgalerie, bermula pada tahun 1968, dan di Schloss Charlottenburg's Galeri Romantikisme dari tahun 1986. Selepas kejatuhan Tembok Berlin, koleksi yang semakin meningkat disatukan di bangunan asalnya, yang sekarang disebut Alte Nationalgalerie, di Berlin Museumsinsel. Menampung koleksi itu bermaksud memperbaiki kerosakan yang telah dilakukan perang ke bangunan serta menambah bilik baru. Firma seni bina HG Merz Berlin diamanahkan dengan kerja ini pada tahun 1992. Pada bulan Mac 1998 Alte Nationalgalerie ditutup untuk pengubahsuaian. Muzium ini akhirnya dibuka semula pada bulan Disember 2001, menandakan ulang tahun ke-125.
