Идеята за създаване на културен и образователен център срещу Берлинския дворец датира от времето на Фридрих Вилхелм четвърти, който мечтае да създаде светилище за изкуство и наука на мястото. Основната архитектурна концепция за Националната галерия – сграда, подобна на храм, издигната върху цокъл, украсена с мотиви от древността-идва от самия цар. Сградата е проектирана от Фридрих Август Сейнтü, студент на Шинкел, който също проектира Музея на Нюе. Тя е завършена след смъртта на Сейнтü от друг студент на Шинкел, Йохан Хайнрих Щрак. Първоначалният тласък за изграждането на Националната галерия е завещан на пруската държава през 1861 г.от банкера и консул Йохан Хайнрих Вилхелм Вагенер, чиято колекция включва творби на Каспар Давид Фридрих, Карл Фридрих Шинкел, художници от д'üселдорфското училище и исторически художници от Белгия. В завещанието се посочва, че картините трябва да бъдат изложени публично на подходящо място. Само една година по-късно Сейнтü получи Комисията да изготви планове за сградата. След десет години строителство Националната галерия тържествено е открита на 21 март 1876 г.за рождения ден на Кайзер Вилхелм, превръщайки се в третия музей на острова.
Сградата претърпява директни удари на няколко пъти по време на въздушните бомбардировки на Втората световна война, претърпявайки тежки щети, особено след 1944 г. Самата колекция постепенно е евакуирана с началото на войната. Наред с други места, тя се съхранява в берлинските противовъздушни кули близо до зоологическата градина и във Фридрихсхайн, както и в хранилищата за сол и поташ в Меркерс и Граслебен.
След края на войната сградата бързо е възстановена, като части от нея са отворени отново през 1949 г. Вторият етаж е достъпен за посетители година по-късно. По време на разделянето на Германия, картините от 19-ти век, които са оцелели от войната в Западните окупационни зони, се съхраняват в Националната галерия от 1968 г.и в галерията на Романтизма в замъка Шарлотенбург от 1986 г. След падането на Берлинската стена, растящите колекции се обединяват в оригиналната си сграда, сега наречена Алтнаалгалерия, в Музея на Берлин. Настаняването на колекцията означаваше поправяне на щетите, нанесени от войната на сградата, както и добавяне на нови стаи. Архитектурната фирма ХГ Мерц Берлин е натоварена с тази работа през 1992 г. През март 1998 г.Националната галерия е затворена за ремонт. Музеят е отворен отново през декември 2001 г., отбелязвайки 125-годишнината си.
