Na vrhu Monte Sant ' Angelo nalazi se još jedno vrlo zanimljivo mjesto: dvorac, tvrđava koja datira iz prve polovice IX stoljeća, izgrađena po nalogu Orso I, biskupa Beneventa. Jedan od najstarijih dijelova posebno je impresivan-toranj divova koji je visok oko 18 metara i debljine 3 metra. Dvorac je bio opremljen stambenim područjima, ali nije bilo dovoljno prostora namijenjenih zatvoru. Tijekom vremena, struktura je prošla nekoliko promjena, izvorno bizantski kastrum, u IX stoljeću tvrđava se kasnije pridružila takozvanom tornju divova. U Friedrichu II bio je proširen i poboljšan, te je napravio dom cara ljubavnika, Bianca Lancia, s kojim su koegzistirali već nekoliko godina i od kojih je suživot bio dva sina Enza i Manfredi. U ovom razdoblju do sada je sačuvana elegantna dvorana pod nazivom treasure Hall, karakterizirana vatrenim svodovima i čvrstim središnjim stupom.
