Die Idee, gegenüber dem Berliner Schloss ein Kultur- und Bildungszentrum zu errichten, geht auf die Zeit Friedrich Wilhelms IV. zurück, der davon träumte, an diesem Ort ein "Heiligtum für Kunst und Wissenschaft" zu schaffen. Das architektonische Grundkonzept für die Alte Nationalgalerie - ein tempelartiges Gebäude auf einem mit antiken Motiven verzierten Sockel - stammt vom König selbst. Das Gebäude wurde von Friedrich August Stüler entworfen, einem Schüler Schinkels, der auch das Neue Museum entwarf. Nach Stülers Tod wurde es von einem anderen Schüler Schinkels, Johann Heinrich Strack, vollendet. Den Anstoß zum Bau der Nationalgalerie gab 1861 eine Schenkung des Bankiers und Konsuls Johann Heinrich Wilhelm Wagener an den preußischen Staat, in dessen Sammlung sich Werke von Caspar David Friedrich, Karl Friedrich Schinkel, Malern der Düsseldorfer Schule und Historienmalern aus Belgien befanden. Der Nachlass war mit der Auflage verbunden, die Gemälde an einem "geeigneten Ort" öffentlich auszustellen. Bereits ein Jahr später erhielt Stüler den Auftrag, Pläne für das Gebäude zu entwerfen. Nach zehnjähriger Bauzeit wurde die Nationalgalerie am 21. März 1876 zum Geburtstag Kaiser Wilhelms I. feierlich eröffnet und war damit das dritte Museum auf der Spreeinsel. Bei den Luftangriffen des Zweiten Weltkriegs wurde das Gebäude mehrfach direkt getroffen und vor allem nach 1944 schwer beschädigt. Die Sammlung selbst wurde mit Kriegsbeginn nach und nach evakuiert. Sie wurde unter anderem in den Berliner Flaktürmen am Tiergarten und in Friedrichshain sowie in den Salz- und Kalilagern in Merkers und Grasleben eingelagert. Nach Kriegsende wurde das Gebäude schnell, aber provisorisch wiederhergestellt und 1949 in Teilen wiedereröffnet. Das zweite Obergeschoss wurde ein Jahr später für Besucher zugänglich gemacht. Während der deutschen Teilung wurden die Gemälde des 19. Jahrhunderts, die den Krieg in den westlichen Besatzungszonen überstanden hatten, ab 1968 in der Neuen Nationalgalerie und ab 1986 in der Galerie der Romantik im Schloss Charlottenburg untergebracht. Nach dem Fall der Berliner Mauer wurden die wachsenden Sammlungen in ihrem ursprünglichen Gebäude, der heutigen Alten Nationalgalerie, auf der Berliner Museumsinsel vereint. Die Unterbringung der Sammlung erforderte die Beseitigung der Kriegsschäden am Gebäude und die Einrichtung neuer Räume. Das Architekturbüro HG Merz Berlin wurde 1992 mit diesen Arbeiten beauftragt. Im März 1998 wurde die Alte Nationalgalerie für Renovierungsarbeiten geschlossen. Im Dezember 2001 wurde das Museum anlässlich seines 125-jährigen Bestehens wiedereröffnet.