Prvý záznam o zámku Kastelholma (alebo Kastelholm) je z roku 1388 v zmluve kráľovnej Margaréta I. Dánska, kde veľká časť dedičstva po bo Jonsson Grip dostal kráľovná. Rozkvet hradu bol v 15.a 16. storočí, keď ho spravovali dánski a švédski králi a správcovia ríš. Kastelhoma bol niekoľkokrát rozšírený a vylepšený.
Na konci 16. storočia hrad vlastnila predchádzajúca kráľovná Katarína Jagellon (Stenbock), nepriateľ švédskeho kráľa Erica XIV. kráľ Eric dobyl Kastelholmu v roku 1599 a všetci brániaci dôstojníci boli prevezení do Turku a popravení. Hrad bol pod obkľúčením poškodený a jeho renovácia trvala 30 rokov.
V roku 1634 bol Åland spojený s grófstvom Åbo a Björneborg a Kastelholma stratila svoje administratívne postavenie. Hrad začal chátrať a bol používaný iba ako väzenie, kým nevyhorel v roku 1745 a nakoniec bol opustený v roku 1770.
Kastelholma je jednou z iba piatich dochovaných fínskych stredovekých pevností. V súčasnosti je hlavnou turistickou atrakciou ľahko dostupnou autom alebo autobusom z Mariehamnu. Vykopané predmety, ako napríklad skoré kachľové dlaždice, sú vystavené v hale. Stredoveký festival plný tanca, jedla a turnajov sa koná každý rok v júli. Oblasť okolo a dole do Stornäsetu sa stala kráľovským panstvom s golfovým ihriskom, ktoré je v tejto oblasti k dispozícii.
