Primul nucleu al castelului este o structură megalitică, ale cărei rămășițe sunt vizibile la baza donjonului lombard. Dezvoltarea complexului fortificat a avut loc în a doua jumătate a secolului al X-lea; contele lombard Paldefredo și succesorii săi au consolidat fortăreața prin ridicarea unei incinte cvadrangulare cu cel puțin două turnuri. Odată cu venirea normanzilor, castelul și satul au suferit pagube importante din partea trupelor regelui Roger al II-lea de Altavilla.
În perioada angevină, au fost construite un șanț și trei turnuri circulare mari cu baza tronconică. În 1443, odată cu aragonezii, castelul a trecut la familia Pandone. Contele Francesco a comandat lărgirea șanțului și construirea unei barbacane crenelate, în timp ce Enrico, la începutul secolului al XVI-lea, a transformat structura în reședință, făcând să fie construite loggia, grădina și importanta decorație picturală (1522 - 1527) care înfățișează cei mai buni cai din faimoasa sa herghelie.
După decapitarea lui Henric pentru că l-a trădat pe Carol al V-lea, feuda a trecut în proprietatea altor familii, printre care și Lannoy, care au adus noi modificări arhitecturii și decorațiunilor, accentuând caracterul rezidențial al castelului.
