Kastellet egy kis fellegvár található a Kastellholmen szigeten. Az első erődítmény a helyszínen 1667-ben épült, Erik Dahlbergh tervezte. 1845 júniusában robbant fel, majd 1846-1848 között új építményt építettek Fredrik Blom építész tervei alapján. Egy vörös téglafalakkal ellátott kerek toronyból és egy 20 méter magas lépcsőtoronyból áll. A tetején a svéd katonai zászlós repül, minden nap felemelik és leeresztik, jelezve, hogy a nemzet békében van. 1996. május 17-én, a norvég alkotmány napján néhány Norvég emigráns felemelte a norvég zászlót a toronyban. Bár egy ilyen lépést történelmileg háborús nyilatkozatként kellett volna megtenni,elkerülhető lenne a diplomáciai válság.
