Prvi zapis gradu Kastelholma (ali Kastelholm) je iz leta 1388 v pogodbi Danske kraljice Margarete I., kjer je velik del dediščine Bo Jonsson Grip je bila dana kraljici. Razcvet gradu je bil v 15.in 16. stoletju, ko so ga upravljali danski in švedski kralji in upravniki kraljestva. Kastelhoma je bila večkrat razširjena in izboljšana.
Konec 16. stoletja je bil grad v lasti prejšnje kraljice Katarine Jagellon (Stenbock), sovražnika švedskega kralja Erica KSIVA. kralj Eric je leta 1599 osvojil Kastelholmo in vse obrambne častnike so odpeljali v Turku in usmrtili. Grad je bil med obleganjem poškodovan in obnova je trajala 30 let.
Leta 1634 se je pridružil grofiji, ki sta pripadali grofiji in grofiji, Kastelholma pa je izgubila Upravni status. Grad je začel propadati in je bil uporabljen le kot zapor, dokler ni zgorel leta 1745 in je bil dokončno opuščen leta 1770.
Kastelholma je ena od le petih preživelih finskih srednjeveških trdnjav. Danes je glavna turistična atrakcija, ki je zlahka dostopna z avtomobilom ali avtobusom iz Mariehamna. V dvorani so razstavljeni izkopani predmeti, kot so ploščice za zgodnje peči. Srednjeveški festival, poln plesa, hrane in dvoboja, se vsako leto zgodi julija. Območje okoli in navzdol do Storn Bushasset je postalo kraljevsko posestvo z igriščem za golf, ki je na voljo tudi na tem območju.
