Prvi zapis dvorca Kastelholma (ili Kastelholm) je iz godine 1388 u ugovoru danske kraljice Margaret I, gdje je veliki dio nasljedstva Bo Jonsson gripa dat kraljici. Vrhunac dvorca bio je u 15.i 16. veku kada su ga administrirali danski i švedski kraljevi i upravnici carstva. Kastelhoma je nekoliko puta proširen i poboljšan.
Krajem 16. stoljeća d ORAC je bio u lasništ u prethodne kraljice Katarine Jagellon (Stenbock), neprijatelja Š Edskog kralja Erica XIV. kralj Eric os ojio je Kastelholmu 1599.godine, a s i odbrambeni oficiri odvedeni su u Turku i pogubljeni. Dvorac je oštećen pod opsadom i trebalo mu je 30 godina da ga obnovi.
Godine 1634.Oland se pridružio okrugu Åbo, a Björneborg i Kastelholma su izgubili svoj administrativni status. Dvorac je počeo propadati i korišten je samo kao zatvor dok nije izgorio 1745. i konačno je napušten 1770.godine.
Kastelholma je jedna od samo pet preživjelih finskih srednjovjekovnih tvrđava. Danas je to glavna turistička atrakcija lako dostupna automobilom ili autobusom iz Mariehamna. U sali su izloženi iskopani predmeti, poput ranih peći. Srednjovjekovni festival, prepun plesa, hrane i viteških viteza javlja se svake godine u julu. Područje oko i do Stornäseta postalo je Kraljevsko imanje sa golf terenom koji je takođe dostupan u tom području.
