Ideja o stvaranju kulturnog i obrazovnog centra nasuprot Berlinske palače datira još iz vremena Friedricha Vilhelma Sosina, koji je sanjao o stvaranju "svetišta umjetnosti i znanosti"na ovom mjestu. Osnovni arhitektonski koncept Insusa - zgrade nalik hramu koja se uzdiže na pijedestalu ukrašenom antičkim motivima – razvio je sam kralj. Zgradu je projektirao Friedrich August Stuler, Schinkelov student koji je također dizajnirao novi muzej. Dovršio ga je nakon Stulerove smrti drugi Schinkelov učenik, Johann Heinrich Strack. Početni poticaj za izgradnju Nacionalne galerije bio je oporuka Pruskoj državi 1861.godine od bankara i konzula Johanna Heinricha Vilim Vagenera, čija je zbirka sadržavala djela Caspara Davida Friedricha, Karla Friedricha Schinkela, umjetnika škole Dusseldorf i povjesničara iz Belgije. Oporuka je bila popraćena odredbom da slike moraju biti izložene javnosti na "prikladnom mjestu". Samo godinu dana kasnije, Stuler je dobio nalog za izradu planova zgrade. Nakon deset godina gradnje, Nacionalna galerija svečano je otvorena 21.ožujka 1876. na rođendan Kaisera Vilim Sosina, postavši treći muzej na otoku Spree. Zgrada je nekoliko puta izravno pogođena tijekom zračnih bombardiranja Drugog svjetskog rata, pretrpivši ozbiljnu štetu, posebno nakon 1944. Sama zbirka postupno je evakuirana izbijanjem rata. Između ostalog, čuvao se u berlinskim protuzrakoplovnim kulama u blizini zoološkog vrta i Friedrichshaina, kao i u skladištima soli i kalija u Merkersu i Graslebenu. Nakon završetka rata, zgrada je brzo, iako privremeno obnovljena; neki su dijelovi ponovno otvoreni 1949. Drugi kat otvoren je za posjetitelje godinu dana kasnije. Tijekom podjele Njemačke, slike iz 19.stoljeća koje su preživjele rat u zapadnim zonama okupacije bile su smještene u novoj Nacionalnoj galeriji od 1968., a od 1986. u galeriji romantizma dvorca Charlottenburg. Nakon pada Berlinskog zida, rastuće zbirke kombinirane su u svojoj izvornoj zgradi, koja se danas zove Sosin, na Berlinskom Sosin. Postavljanje zbirke značilo je obnavljanje štete koju je zgrada pretrpjela ratom, kao i dodavanje novih soba. Ovaj je posao 1992.godine povjeren arhitektonskoj tvrtki INNESSIN. U ožujku 1998.Nacionalna galerija zatvorena je zbog obnove. Muzej je konačno ponovno otvoren u prosincu 2001.godine, slaveći svoju 125. obljetnicu.