Pierwsza wzmianka o zamku Kastelholma (lub Kastelholm) pochodzi z roku 1388 w kontrakcie Królowej Danii Małgorzaty I, gdzie duża część dziedzictwa bo Jonsson Grip została przekazana królowej. Rozkwit zamku przypadł na XV i XVI wiek, kiedy był administrowany przez duńskich i szwedzkich królów i zarządców królestw. Kastelhoma była kilkakrotnie rozbudowywana i ulepszana.
Pod koniec XVI wieku zamek był własnością poprzedniej Królowej Katarzyny Jagiellonki (Stenbock), wroga króla Szwecji Eryka XIV. Król Eryk zdobył Kastelholmę w 1599 roku, a wszyscy broniący się oficerowie zostali zabrani do Turku i straceni. Zamek został uszkodzony podczas oblężenia, a jego renowacja trwała 30 lat.
W 1634 roku Åland został połączony z hrabstwem Åbo i Björneborg, a Kastelholma utraciła status administracyjny. Zamek zaczął się rozpadać i był używany tylko jako więzienie, aż spłonął w 1745 roku i został ostatecznie opuszczony w 1770 roku.
Kastelholma jest jedną z pięciu zachowanych fińskich średniowiecznych twierdz. Obecnie jest główną atrakcją turystyczną łatwo dostępną samochodem lub autobusem z Mariehamn. Wydobyte przedmioty, takie jak wczesne płytki piecowe, są na wystawie w holu. Średniowieczny festiwal, pełen tańca, jedzenia i potyczek odbywa się każdego roku w lipcu. Obszar wokół i w dół do Stornäset stał się posiadłością królewską z polem golfowym również dostępne w okolicy.
