Den första kärnan i slottet är en megalitstruktur, vars rester är synliga vid basen av den lombardiska donjonen. Den lombardiska greven Paldefredo och hans efterföljare förstärkte fästningen genom att uppföra en fyrkantig inhägnad med minst två torn. När normanderna kom till, drabbades slottet och byn av omfattande skador av kung Roger II av Altavillas trupper.
Under Angevin-perioden byggdes en vallgrav och tre stora runda torn med en stompad konisk bas. År 1443 övergick slottet till familjen Pandone i samband med aragonierna. Greve Francesco lät utvidga vallgraven och bygga en krenelerad barbican, medan Enrico i början av 1500-talet omvandlade byggnaden till ett residens och lät bygga loggian, trädgården och den viktiga bilddekorationen (1522-1527) med de bästa hästarna i sin berömda hjord.
Efter att Henrik hade halshuggits för att ha förrått Karl V övergick arvet till andra familjer, bland annat Lannoy, som gjorde ytterligare ändringar i arkitekturen och dekorationerna och framhävde slottets bostadskaraktär.
