L'idée de créer un centre culturel et éducatif en face du château de Berlin remonte à l'époque de Friedrich Wilhelm IV, qui rêvait de créer un "sanctuaire pour l'art et la science" sur ce site. Le concept architectural de base de l'Alte Nationalgalerie - un bâtiment en forme de temple élevé sur un socle décoré de motifs antiques - est venu du roi lui-même. Le bâtiment a été conçu par Friedrich August Stüler, un élève de Schinkel qui a également conçu le Neues Museum. Il a été achevé après la mort de Stüler par un autre élève de Schinkel, Johann Heinrich Strack. L'impulsion initiale pour la construction de la Nationalgalerie fut un legs à l'État prussien en 1861 de la part du banquier et consul Johann Heinrich Wilhelm Wagener, dont la collection comprenait des œuvres de Caspar David Friedrich, Karl Friedrich Schinkel, des peintres de l'école de Düsseldorf et des peintres d'histoire de Belgique. Le legs était assorti d'une clause stipulant que les tableaux devaient être exposés publiquement dans un "lieu approprié". Un an plus tard, Stüler est chargé de dessiner les plans du bâtiment. Après dix ans de construction, la Nationalgalerie a été inaugurée solennellement le 21 mars 1876 pour l'anniversaire de l'empereur Guillaume Ier, devenant ainsi le troisième musée de l'île de la Spree.
Le bâtiment a subi des coups directs à plusieurs reprises pendant les bombardements aériens de la Seconde Guerre mondiale, subissant de lourds dommages, en particulier après 1944. La collection elle-même avait été progressivement évacuée avec le début de la guerre. Elle a notamment été entreposée dans les tours antiaériennes de Berlin, près du zoo et à Friedrichshain, ainsi que dans les dépôts de sel et de potasse de Merkers et de Grasleben.
Après la fin de la guerre, le bâtiment a été rapidement, mais provisoirement, restauré ; certaines parties ont été rouvertes en 1949. Le deuxième étage a été rendu accessible aux visiteurs un an plus tard. Pendant la division de l'Allemagne, les tableaux du XIXe siècle qui avaient survécu à la guerre dans les zones d'occupation occidentales ont été hébergés à la Neue Nationalgalerie, à partir de 1968, et à la Galerie du romantisme du château de Charlottenburg à partir de 1986. Après la chute du mur de Berlin, les collections grandissantes ont été réunies dans leur bâtiment d'origine, désormais appelé Alte Nationalgalerie, sur la Museumsinsel de Berlin. Pour accueillir la collection, il fallait réparer les dommages causés par la guerre au bâtiment et ajouter de nouvelles salles. Le cabinet d'architectes HG Merz Berlin a été chargé de ces travaux en 1992. En mars 1998, l'Alte Nationalgalerie a été fermée pour des travaux de rénovation. Le musée a finalement rouvert ses portes en décembre 2001, à l'occasion de son 125e anniversaire.
