Başlangıçta 16. yüzyılın sonlarında inşa edilen ve daha sonra genişleyen Ueno Kalesi, Edo döneminde (1603-1867) yerel lordların ikametgahı olarak görev yaptı. Kale Kulesi, 50 yıldan daha kısa bir süre sonra bir fırtınada tahrip edildi ve yerel bir sakinin kulenin yeniden inşası için fon sağladığı 1935 yılına kadar yeniden inşa edilmedi.
20.yüzyılda beton kullanılarak yeniden inşa edilen diğer birçok Japon Kalesinin aksine, Ueno Kalesi sadece ahşapla yeniden inşa edildi ve hem içeride hem de dışarıda güzel, orijinal bir görünüm ve atmosfer sağladı. Kalenin Batı tarafındaki taş duvarlar, etkileyici bir 30 metrede Japonya'nın en yüksekidir.
