Borgens første kerne er en megalitstruktur, hvis rester er synlige ved foden af den lombardiske donjon. Det befæstede kompleks udviklede sig i anden halvdel af det 10. århundrede; den lombardiske greve Paldefredo og hans efterfølgere styrkede fæstningen ved at opføre en firkantet indhegning med mindst to tårne. Med normannernes indtog blev slottet og landsbyen udsat for omfattende skader af kong Roger II af Altavilla's tropper.
I løbet af Angevin-perioden blev der bygget en voldgrav og tre store runde tårne med en kegleformet kegleformet base. I 1443 overgik slottet med aragonerne til Pandone-familien. Grev Francesco lod grøften udvide og opføre en barbikan med krenelerede hegn, mens Enrico i begyndelsen af det 16. århundrede omdannede bygningen til en bolig og lod loggiaen, haven og den vigtige billedudsmykning (1522-1527) med de bedste heste fra sin berømte besætning bygge.
Efter Henrys halshugning for at have forrådt Karl 5. gik lenet over til andre familier, herunder Lannoy-familien, som foretog yderligere ændringer i arkitekturen og udsmykningen, hvilket forstærkede slottets boligkarakter.
