U početku rođen kao jednostavna utvrda za obranu od napada neprijatelja, s vremenom je ojačan i postupno pretvoren u bogatu rezidenciju koja je primila nekoliko plemićkih sicilijanskih obitelji.Prve povijesne vijesti vezane uz ovaj dvorac datiraju iz 1160. godine. Povijesni događaji koji se isprepliću s legendom. Matteo Bonello, jedan od prvih vlasnika dvorca, bio je ljuti neprijatelj kralja Williama I. poznat kao il Malo (ime koje nije dobio slučajno!). Nakon što je ubio kraljeva savjetnika, Bonello se sklonio na njegovo imanje sve dok, na prevaru samog kralja, nije uhvaćen, mučen (iskopane su mu oči i presječene tetive u petama) i ostavljen da umre u jednoj od kula. Od tada duh Mattea Bonella, prema svjedočanstvima mnogih koji kažu da su ga vidjeli, nemirno luta dvorcem u potrazi za vječnim mirom!Dolaskom plemićke obitelji Chiaramonte iz Palerma, dvorac je opsežno utvrđen i ojačan, do te mjere da je gotovo 1 stoljeće, od 1302. do 1392., uspio odolijevati napadima kraljevske moći Aragonaca.15. stoljeće bilo je razdoblje najvećeg sjaja grada do te mjere da je Giovanni Alfonso Henriquez, potkralj Sicilije, dao Caccamu grb za koji se vjeruje da ga je nekada imala Kartaga (konjska glava), s dodatkom tri noge od Sicilije.Ali nakon razdoblja najvećeg sjaja, počinje dug i polagani pad. Najprije će Amatosi, a potom i De Spuches pokušati obnoviti dvorac, unakazivši neke dijelove, dok je mnogo dragocjenog namještaja odneseno. Potres iz 1923. izazvat će niz urušavanja koja će srušiti nekoliko područja.Od 1965. dvorac je u vlasništvu Regije Sicilije.