Der erste Kern der Burg ist eine megalithische Struktur, deren Überreste am Fuß des langobardischen Bergfrieds zu sehen sind. Die Entwicklung des befestigten Komplexes fand in der zweiten Hälfte des 10. Jahrhunderts statt; der langobardische Graf Paldefredo und seine Nachfolger verstärkten die Festung, indem sie eine viereckige Anlage mit mindestens zwei Türmen errichteten. Mit dem Einzug der Normannen wurden die Burg und das Dorf durch die Truppen von König Roger II. von Altavilla stark beschädigt.
In der Anjouzeit wurden ein Wassergraben und drei große runde Türme mit kegelstumpfförmiger Basis errichtet. Im Jahr 1443 ging die Burg mit den Aragoniern an die Familie Pandone über. Graf Francesco gab die Vergrößerung des Grabens und den Bau eines zinnenbewehrten Barbakans in Auftrag, während Enrico zu Beginn des 16. Jahrhunderts das Bauwerk in eine Residenz umwandelte und die Loggia, den Garten und die bedeutende malerische Dekoration (1522 - 1527), die die besten Pferde seiner berühmten Herde darstellt, errichten ließ.
Nach der Enthauptung Heinrichs, der Karl V. verraten hatte, ging das Lehen an andere Familien über, darunter die Lannoy, die die Architektur und die Dekoration weiter veränderten und den Wohncharakter des Schlosses betonten.
