Første rekord af Kastelholma (eller Kastelholm) Slot er fra år 1388 i kontrakten af Dronning Margaret I af Danmark, hvor en stor del af arven efter Bo Jonsson greb blev givet til dronningen. Slottets storhedstid var i det 15.og 16. århundrede, da det blev administreret af danske og svenske konger og forvaltere af rigerne. Kastelhoma blev udvidet og forbedret flere gange.
I slutningen af det 16. århundrede slot var ejet af den tidligere dronning Catherine Jagellon (Stenbock), en fjende af kongen af Sverige Eric.Kong Eric erobrede Kastelholma i 1599 og alle forsvarende officerer blev taget til Turku og henrettet. Slottet blev beskadiget under belejringen, og det tog 30 år at renovere det.
I 1634 fik byen sammen med grevskabet Larsbo og BJ Larrneborg, og Kastelholma mistede sin administrative status. Slottet begyndte at henfalde og blev kun brugt som fængsel, indtil det brændte ned i 1745 og blev endelig forladt i 1770.
Kastelholma er en af kun fem overlevende finske middelalderlige fæstninger. I dag er det en stor turistattraktion let tilgængelig med bil eller bus fra Mariehamn. Udgravede genstande, såsom tidlige komfurfliser, er udstillet i hallen. En middelalderlig festival, fyldt med dans, mad, og dyst finder sted hvert år i Juli. Området omkring og ned til Storn Kurt er blevet en kongelig ejendom med en golfbane også tilgængelig i området.
