Kastellet je mala utvrda koja se nalazi na ostrvu Kastelholmenu. Prva utvrda na lokaciji izgrađena je 1667. godine, koju je dizajnirao Erik Dahlbergh. On je eksplodirao u junu 1845, a naknadno je izgrađen novi 1846-1848, za dizajn arhitekte Fredrik Blom. Sastoji se od okruglog tornja sa zidovima od crvene cigle i visokim stepeništem od 20 metara. Na vrhu, vojni zastavnik Švedske, stoji i spušta se svaki dan, što ukazuje da je nacija u miru. 17. maja 1996. godine, na dan norveškog Ustava, neki Norveški iseljenici podigli su Norvešku zastavu u tornju. Iako bi se takva akcija historijski shvaćala kao objava rata, mogla bi se izbjeći diplomatska kriza.