Det var ursprungligen tänkt som en enkel fästning för att försvara sig mot fiendens angrepp, men med tiden förstärktes det och förvandlades gradvis till en välbärgad herrgård där flera adliga sicilianska familjer bodde.De första historiska uppgifterna om detta slott går tillbaka till 1160. Historiska händelser är sammanflätade med legender. Matteo Bonello, en av slottets första ägare, var en bitter fiende till kung Vilhelm I känd som "il Malo" (ett namn som han inte fick av en slump!). Efter att ha mördat kungens rådgivare tog Bonello sin tillflykt till hans egendom tills han, lurad av kungen själv, tillfångatogs, torterades (hans ögon slets ut och hälsenorna klipptes av) och lämnades att dö i ett av tornen. Sedan dess har Matteo Bonellos spöke, enligt vittnesmålen från många som säger sig ha sett honom, vandrat rastlöst omkring i slottet på jakt efter evig frid!När den adliga Palermosläkten Chiaramonte kom till, befästes och förstärktes slottet i stor utsträckning, till den grad att det under nästan ett århundrade, från 1302 till 1392, lyckades stå emot angreppen från den aragonesiska kungamakten.Under 1400-talet var stadens mest praktfulla period, och det var till den grad att Johannes Alfonso Henriquez, vicekung av Sicilien, gav Caccamo det vapen som sägs ha tillhört Karthago (ett hästhuvud), med Siciliens tre ben tillagt.Men efter perioden av maximal glans började en lång och långsam nedgång. Först Amatos och sedan De Spuches försökte restaurera slottet och förstörde vissa områden, medan många av de värdefulla möblerna togs bort. Jordbävningen 1923 orsakade en rad kollaps som raserade flera områden.Sedan 1965 har slottet varit regionen Siciliens egendom.