El primer nucli del castell és una estructura megalítica, les restes de la qual són visibles a la base de la torre llombarda. El desenvolupament del conjunt fortificat es va produir a la segona meitat del segle X; el comte llombard Paldefredo i els seus successors van reforçar la fortalesa amb l'elevació d'un recinte quadrangular amb almenys dues torres. Amb l'arribada dels normands, el castell i el poble van patir importants danys per part de les tropes del rei Roger II d'Altavilla.A l'època angevina es va construir un fossat i les tres grans torres circulars amb base troncocònica. L'any 1443, amb els aragonesos, el castell va passar a la família Pandone. El comte Francesco va encarregar l'ampliació del fossat i la construcció d'una braga emmerletada, mentre que Enrico, a principis del segle XVI, va transformar l'estructura en una residència, fent construir la loggia, el jardí i la important decoració pictòrica (1522-1522). 1527) que representa els millors cavalls de la seva famosa cria.Després de la decapitació d'Enric per la seva traïció a Carles V, el feu va passar a altres famílies, entre elles els Lannoy, que van fer més canvis en l'arquitectura i la decoració, accentuant el caràcter residencial del castell.
