Η ιδέα της ίδρυσης ενός πολιτιστικού και εκπαιδευτικού κέντρου απέναντι από το Παλάτι του Βερολίνου χρονολογείται από την εποχή του Friedrich Wilhelm IV, ο οποίος ονειρευόταν να δημιουργήσει ένα "ιερό για την τέχνη και την επιστήμη" στην περιοχή. Η βασική αρχιτεκτονική ιδέα για το Alte Nationalgalerie-ένα κτίριο που μοιάζει με ναό που υψώνεται σε πλίνθο διακοσμημένο με μοτίβα από την αρχαιότητα – προήλθε από τον ίδιο τον βασιλιά. Το κτίριο σχεδιάστηκε από τον Friedrich August Stüler, μαθητή του Schinkel που σχεδίασε επίσης το μουσείο Neues. Ολοκληρώθηκε μετά το θάνατο του Stüler από έναν άλλο από τους μαθητές του Schinkel, Johann Heinrich Strack. Η αρχική ώθηση για την κατασκευή του Nationalgalerie ήταν ένα κληροδότημα στο πρωσικό κράτος το 1861 από τον τραπεζίτη και τον πρόξενο Johann Heinrich Wilhelm Wagener, του οποίου η συλλογή περιελάμβανε έργα του Caspar David Friedrich, Karl Friedrich Schinkel, ζωγράφους από τη Σχολή του Ντίσελντορφ και ζωγράφους ιστορίας από το Βέλγιο. Το κληροδότημα ήρθε με την προϋπόθεση ότι οι πίνακες έπρεπε να εμφανίζονται δημόσια σε μια "κατάλληλη τοποθεσία". Μόλις ένα χρόνο αργότερα ο Stüler έλαβε την Επιτροπή για να καταρτίσει σχέδια για το κτίριο. Μετά από δέκα χρόνια κατασκευής, το Nationalgalerie άνοιξε τελετουργικά στις 21 Μαρτίου 1876 για τα γενέθλια του Kaiser Wilhelm I, και έγινε το τρίτο μουσείο στο νησί στο Spree. Το κτίριο υπέστη άμεσες επιτυχίες σε αρκετές περιπτώσεις κατά τη διάρκεια του εναέριου βομβαρδισμού του Δεύτερος Παγκόσμιος Πόλεμος, υπέστη σοβαρές ζημιές ιδιαίτερα μετά το 1944. Η ίδια η συλλογή είχε εκκενωθεί σταδιακά με την έναρξη του πολέμου. Μεταξύ άλλων, αποθηκεύτηκε στους αντιαεροπορικούς πύργους του Βερολίνου κοντά στον ζωολογικό κήπο και στο Friedrichshain, καθώς και στα αποθετήρια αλατιού και ποτάσας στο Merkers και το Grasleben. Μετά το τέλος του πολέμου, το κτίριο αποκαταστάθηκε γρήγορα και προσωρινά.τμήματα του άνοιξαν ξανά το 1949. Ο δεύτερος όροφος έγινε προσβάσιμος στους επισκέπτες ένα χρόνο αργότερα. Κατά τη διαίρεση της Γερμανίας, οι πίνακες του 19ου αιώνα που είχαν επιβιώσει από τον πόλεμο στις δυτικές ζώνες κατοχής στεγάστηκαν στο Neue Nationalgalerie, ξεκινώντας από το 1968, και στο Schloss Charlottenburg γκαλερί ρομαντισμού από το 1986. Μετά την πτώση του Τείχους του Βερολίνου, οι αυξανόμενες συλλογές ενώθηκαν στο αρχικό τους κτίριο, που τώρα ονομάζεται Alte Nationalgalerie, στο Museumsinsel του Βερολίνου. Η φιλοξενία της συλλογής σήμαινε την αποκατάσταση των ζημιών που είχε προκαλέσει ο πόλεμος στο κτίριο καθώς και την προσθήκη νέων δωματίων. Η αρχιτεκτονική εταιρεία HG Merz Berlin ανατέθηκε σε αυτό το έργο το 1992. Τον Μάρτιο του 1998 το Alte Nationalgalerie έκλεισε για ανακαινίσεις. Το μουσείο άνοιξε ξανά τον Δεκέμβριο του 2001, σηματοδοτώντας την 125η επέτειό του.