Linnuse esimene tuumik on megaliitne ehitis, mille jäänused on nähtavad lombardliku donjoni jalamil. Linnusekompleksi areng toimus 10. sajandi teisel poolel; lombardia krahv Paldefredo ja tema järeltulijad tugevdasid linnust, rajades vähemalt kahe torniga neljakandilise ümbruse. Normannide tulekuga kannatasid loss ja küla Altavilla kuninga Roger II vägede käes suurt kahju.
Angevinide ajal ehitati vallikraav ja kolm suurt ümmarguse koonusepõhjaga torni. 1443. aastal läks loss koos Aragoniaga üle Pandone perekonnale. Krahv Francesco tellis vallikraavi laiendamise ja barbakani ehitamise, samal ajal kui Enrico muutis 16. sajandi alguses hoone elukohaks, ehitades loggia, aia ja tähtsa pildilise dekoratsiooni (1522-1527), mis kujutab tema kuulsa karja parimaid hobuseid.
Pärast Henriku mahalöömist Karl V reetmise eest läks pärandvara üle teistele perekondadele, sealhulgas Lannoy'dele, kes tegid arhitektuuris ja kaunistustes täiendavaid muudatusi, rõhutades lossi elamu iseloomu.
