Creată inițial ca o simplă fortăreață pentru a se apăra de atacurile inamice, a fost consolidată în timp și transformată treptat într-o reședință bogată care a găzduit mai multe familii nobile siciliene.Primele înregistrări istorice ale acestui castel datează din 1160. Evenimentele istorice se împletesc cu legenda. Matteo Bonello, unul dintre primii proprietari ai castelului, a fost un dușman înverșunat al regelui William I, cunoscut sub numele de "il Malo" (un nume care nu i-a fost dat întâmplător!). După ce l-a ucis pe consilierul regelui, Bonello s-a refugiat în proprietatea acestuia până când, păcălit de însuși regele, a fost capturat, torturat (i-a fost scoși ochii și i-au fost secționate tendoanele călcâielor) și lăsat să moară într-unul dintre turnuri. De atunci, fantoma lui Matteo Bonello, conform mărturiilor multora care pretind că l-au văzut, cutreieră neliniștită castelul în căutarea păcii veșnice!Odată cu venirea nobilei familii Palermo de Chiaramonte, castelul a fost puternic fortificat și consolidat, astfel încât, timp de aproape un secol, din 1302 până în 1392, a reușit să reziste atacurilor puterii regale aragoneze.Secolul al XV-lea a fost perioada de cea mai mare splendoare a orașului, până în punctul în care John Alfonso Henriquez, vicerege al Siciliei, a oferit lui Caccamo stema despre care se spune că ar fi aparținut Cartaginei (un cap de cal), la care s-au adăugat cele trei picioare ale Siciliei.Dar după perioada de maximă splendoare, a început un declin lung și lent. Mai întâi familia Amatos și apoi familia De Spuches au încercat să restaureze castelul, desfigurând unele zone, în timp ce multe dintre mobilierul prețios a fost luat. Cutremurul din 1923 a provocat o serie de prăbușiri care au demolat mai multe zone.Din 1965, castelul este proprietatea Regiunii Sicilia.