Pirmasis Kastelholmos (arba Kastelholmo) pilies įrašas yra nuo 1388 metų Karalienės sutartyje Margaret I iš Danijos, kur didelė BO Jonsson Grip palikimo dalis buvo atiduota karalienei. Pilies suklestėjimas buvo 15 ir 16 amžiuje, kai ją administravo Danijos ir Švedijos karaliai ir valdų Valdovai. Kastelhoma kelis kartus buvo išplėsta ir patobulinta. 16-ojo amžiaus pabaigoje pilis priklausė ankstesnei karalienei Catherine Jagellon (Stenbock), Švedijos karaliaus Erico priešui. karalius Erikas 1599 m. užkariavo Kastelholmą, o visi gynėjai buvo nuvežti į Turku ir įvykdyti mirties bausmę. Pilis buvo apgadinta apgulties metu, o ją atnaujinti prireikė 30 metų. 1634 m. vaivadija buvo sujungta su vaivadijos grafyste ir Bjobilisrneborg ir Kastelholma prarado administracinį statusą. Pilis pradėjo irti ir buvo naudojama tik kaip kalėjimas, kol 1745 m.sudegė, o 1770 m. buvo galutinai apleista. Kastelholma yra viena iš penkių išlikusių Suomijos viduramžių tvirtovių. Šiais laikais tai yra pagrindinis turistų traukos objektas, lengvai pasiekiamas automobiliu ar autobusu iš Mariehamno. Salėje eksponuojami iškasti daiktai, tokie kaip ankstyvosios viryklės plytelės. Viduramžių festivalis, kupinas šokių, maisto ir joustingo, vyksta kiekvienais metais liepos mėnesį. Teritorija aplink ir žemyn iki Stornofrenset tapo karališkuoju dvaru, kuriame taip pat yra Golfo aikštynas.