Kastellet is een kleine citadel gelegen aan het eiland Kastellholmen. De eerste vesting op de locatie werd gebouwd in 1667, ontworpen door Erik Dahlbergh. Het ontplofte in juni 1845 en vervolgens werd een nieuw ontwerp gebouwd 1846-1848 naar het ontwerp van architect Fredrik Blom. Het bestaat uit een ronde toren met rode stenen muren en een 20 meter hoge trap toren. Op de top vliegt de militaire vaandrig van Zweden, het wordt gehesen en verlaagd elke dag, wat erop wijst dat de natie in vrede is. Op 17 mei 1996, de dag van de Noorse Grondwet, hief een aantal Noorse expats de Noorse vlag in de toren. Hoewel een dergelijke actie historisch gezien als een oorlogsverklaring zou zijn genomen, kon een diplomatieke crisis worden vermeden.
