Slottet Ueno byggdes ursprungligen i slutet av 1500-talet och senare utvidgades, tjänade som säte för de lokala herrarna under Edo perioden (1603-1867). Slottstornet förstördes i en storm mindre än 50 år senare och byggdes inte förrän 1935 när en lokal bosatt tillhandahöll finansiering för tornets återuppbyggnad.
Till skillnad från många andra japanska slott som rekonstruerades på 1900-talet med hjälp av betong, byggdes Ueno slott endast med trä, vilket gav det ett vackert, originellt utseende och atmosfär både på insidan och utsidan. Stenmurarna på den västra sidan av slottet är de högsta i Japan på en imponerande 30 meter.
