Oprindeligt var det tænkt som en simpel fæstning, der skulle forsvare sig mod fjendtlige angreb, men med tiden blev det forstærket og gradvist omdannet til et rigt palæ, der husede flere adelige sicilianske familier.De første historiske optegnelser om dette slot går tilbage til 1160. Historiske begivenheder er sammenflettet med legender. Matteo Bonello, en af de første ejere af slottet, var en bitter fjende af kong Vilhelm I, kendt som "il Malo" (et navn, som han ikke tilfældigt fik!). Efter at have myrdet kongens rådgiver søgte Bonello tilflugt på hans gods, indtil han, narret af kongen selv, blev taget til fange, tortureret (hans øjne blev stukket ud, og hans hælsener blev skåret over) og efterladt til døden i et af tårnene. Siden da har Matteo Bonellos spøgelse ifølge mange, der hævder at have set ham, vandret hvileløst rundt på slottet i jagten på den evige fred!Med den adelige Palermo-familie Chiaramonte blev slottet grundigt befæstet og forstærket, således at det i næsten et århundrede, fra 1302 til 1392, lykkedes det at modstå angrebene fra den aragonske kongemagt.Det 15. århundrede var byens mest prægtige periode, og det var i den grad, at Johannes Alfonso Henriquez, vicekonge af Sicilien, gav Caccamo det våben, der efter sigende engang tilhørte Karthago (et hestehoved), med Siciliens tre ben tilføjet.Men efter den periode med maksimal glans begyndte en langsom og langsom nedgang. Først Amatos og derefter De Spuches forsøgte at restaurere slottet, idet de ødelagde nogle områder, mens mange af de kostbare møbler blev fjernet. Jordskælvet i 1923 forårsagede en række sammenstyrtninger, der ødelagde flere områder.Siden 1965 har slottet været regionens ejendom på Sicilien.