O primeiro núcleo do castelo é unha estrutura megalítica, cuxos restos son visibles na base do torreón lombardo. O desenvolvemento do conxunto fortificado produciuse na segunda metade do século X; o conde lombardo Paldefredo e os seus sucesores reforzaron a fortaleza co alzado dun recinto cuadrangular con polo menos dúas torres. Coa chegada dos normandos, o castelo e a vila sufriron importantes danos por parte das tropas do rei Roger II de Altavilla.Na época anxevina construíuse un foxo e as tres grandes torres circulares con base troncocónica. En 1443, cos aragoneses, o castelo pasou á familia Pandone. O conde Francesco encargou a ampliación do foso e a construción dunha braga almenada, mentres que Enrico, a principios do século XVI, transformou a estrutura en residencia, facendo construír a logia, o xardín e a importante decoración pictórica (1522 - 1527) que representa os mellores cabalos da súa famosa cría.Despois da decapitación de Henrique pola súa traizón a Carlos V, o feudo pasou a outras familias, entre elas os Lannoy, que realizaron novos cambios na arquitectura e na decoración, acentuando o carácter residencial do castelo.
