Ursprünglich als einfache Festung zur Verteidigung gegen feindliche Angriffe errichtet, wurde sie im Laufe der Zeit verstärkt und nach und nach in eine reiche Residenz umgewandelt, die mehrere sizilianische Adelsfamilien beherbergte. Die ersten historischen Aufzeichnungen über diese Burg stammen aus dem Jahr 1160. Historische Ereignisse sind mit Legenden verwoben. Matteo Bonello, einer der ersten Besitzer des Schlosses, war ein erbitterter Feind von König Wilhelm I., bekannt als "il Malo" (ein Name, der ihm nicht zufällig gegeben wurde!). Nachdem er den Berater des Königs ermordet hatte, suchte Bonello Zuflucht in dessen Anwesen, bis er, vom König selbst hereingelegt, gefangen genommen, gefoltert (seine Augen wurden ausgestochen und die Sehnen seiner Fersen durchtrennt) und zum Sterben in einem der Türme zurückgelassen wurde. Seitdem streift der Geist von Matteo Bonello nach Aussage vieler, die ihn gesehen haben wollen, rastlos durch das Schloss auf der Suche nach dem ewigen Frieden!
Mit dem Aufkommen der adligen Palermo-Familie von Chiaramonte wurde die Burg umfangreich befestigt und verstärkt, so dass sie fast ein Jahrhundert lang, von 1302 bis 1392, den Angriffen der aragonesischen Königsmacht widerstehen konnte. Das 15. Jahrhundert war die Blütezeit der Stadt, so dass Johannes Alfonso Henriquez, Vizekönig von Sizilien, Caccamo das Wappen schenkte, das einst Karthago gehört haben soll (ein Pferdekopf, dem die drei Beine Siziliens hinzugefügt wurden).
Doch nach der Blütezeit begann ein langer, langsamer Niedergang. Zunächst versuchten die Amatos und dann die De Spuches, das Schloss zu restaurieren, wobei einige Bereiche verunstaltet und viele der wertvollen Einrichtungsgegenstände entwendet wurden. Das Erdbeben von 1923 verursachte eine Reihe von Einstürzen, die mehrere Gebiete zerstörten. Seit 1965 ist das Schloss im Besitz der Region Sizilien.
