A ideia de estabelecer um centro cultural e educacional em frente ao Palácio de Berlim remonta à época de Friedrich Wilhelm IV, que sonhava em criar um "santuário para arte e ciência" no local. O conceito arquitetônico básico para a Alte Nationalgalerie-um edifício semelhante a um templo erguido em um pedestal decorado com motivos da antiguidade – veio do próprio rei. O edifício foi projetado por Friedrich August Stüler, um estudante de Schinkel que também projetou o Museu Neues. Foi concluído após a morte de Stüler por outro dos alunos de Schinkel, Johann Heinrich Strack. O ímpeto inicial para a construção da Nationalgalerie foi uma herança para o estado prussiano em 1861 do banqueiro e cônsul Johann Heinrich Wilhelm Wagener, cuja coleção apresentava obras de Caspar David Friedrich, Karl Friedrich Schinkel, pintores da Escola de Düsseldorf e pintores de história da Bélgica. O legado veio com a estipulação de que as pinturas deveriam ser exibidas publicamente em um 'local adequado'. Apenas um ano depois, Stüler recebeu a Comissão para elaborar planos para o edifício. Após dez anos de construção, a Nationalgalerie abriu cerimoniosamente em 21 de Março de 1876 para o aniversário do Kaiser Wilhelm I, tornando-se o terceiro Museu da ilha na farra.
O edifício sofreu ataques diretos em várias ocasiões durante o bombardeio aéreo da Segunda Guerra Mundial, sofrendo grandes danos, especialmente após 1944. A coleção em si foi gradualmente evacuada com o início da guerra. Entre outros lugares, foi armazenado nas torres antiaéreas de Berlim perto do zoológico e em Friedrichshain, bem como nos repositórios de sal e potássio em Merkers e Grasleben.
Após o fim da guerra, o edifício foi rapidamente restaurado provisoriamente; partes dele foram reabertas em 1949. O segundo andar foi acessível aos visitantes um ano depois. Durante a divisão da Alemanha, As pinturas do século 19 que sobreviveram à Guerra nas zonas ocidentais de ocupação foram alojadas na Neue Nationalgalerie, a partir de 1968, e na Galeria de romantismo de Schloss Charlottenburg de 1986. Após a queda do muro de Berlim, as coleções crescentes foram unidas em seu edifício original, agora chamado de Alte Nationalgalerie, no Museumsinsel de Berlim. Acomodar a coleção significava reparar os danos que a guerra havia causado ao edifício, além de adicionar novos quartos. O escritório de arquitetura Hg Merz Berlin foi encarregado deste trabalho em 1992. Em Março de 1998, a Alte Nationalgalerie foi fechada para reformas. O museu foi finalmente reaberto em dezembro de 2001, marcando seu 125º aniversário.
