Le premier noyau du château est une structure mégalithique, dont les vestiges sont visibles à la base du donjon lombard. Le développement du complexe fortifié a eu lieu dans la seconde moitié du Xe siècle ; le comte lombard Paldefredo et ses successeurs ont renforcé la forteresse en érigeant une enceinte quadrangulaire avec au moins deux tours. Avec l'arrivée des Normands, le château et le village ont subi d'importants dégâts aux mains des troupes du roi Roger II d'Altavilla.
Pendant la période angevine, un fossé et trois grandes tours circulaires à base tronconique ont été construits. En 1443, avec les Aragonais, le château passe à la famille Pandone. Le comte Francesco commanda l'élargissement des douves et la construction d'une barbacane crénelée, tandis qu'Enrico, au début du XVIe siècle, transforma la structure en résidence, faisant construire la loggia, le jardin et l'importante décoration picturale (1522 - 1527) représentant les meilleurs chevaux de son célèbre troupeau.
Après la décapitation d'Henri pour avoir trahi Charles V, le fief passe à d'autres familles, dont les Lannoy, qui apportent de nouvelles modifications à l'architecture et aux décorations, accentuant le caractère résidentiel du château.
