Tijdens de Edo-periode (1603-1867) was het kasteel van Ueno, oorspronkelijk gebouwd in de late 16e eeuw en later uitgebreid, de zetel van de lokale heren. De burchttoren werd verwoest in een storm minder dan 50 jaar later en niet herbouwd tot 1935 toen een lokale bewoner financiering voor de wederopbouw van de toren.
In tegenstelling tot veel andere Japanse kastelen die in de 20ste eeuw werden gereconstrueerd met beton, werd het kasteel Ueno herbouwd met alleen hout, waardoor het een mooie, originele look en sfeer zowel aan de binnenkant en buiten. De stenen muren aan de westkant van het kasteel zijn de hoogste in Japan op een indrukwekkende 30 meter.
