У верхній частині Монте-Сант-Анджело знаходиться ще одне дуже цікаве місце: замок, фортеця, що відноситься до першої половини IX століття, побудована за наказом Орсо I, єпископа Беневенто. Особливо вражає одна з його найстаріших частин-вежа гігантів висотою близько 18 метрів і товщиною 3 метри. Замок був обладнаний житловими зонами, але не вистачало приміщень, призначених для в'язниці. З часом структура зазнала кілька змін, спочатку візантійський каструм, в IX столітті фортеця згодом приєдналася до так званої вежі гігантів. При Фрідріху II він був розширений і поліпшений, і зробив будинок коханця імператора, Bianca Lancia, з яким вони співіснували протягом декількох років і від якого співжиття було два сини Енцо і Манфреді. У цю епоху до цих пір зберігся витончений зал, званий залом скарбів, що характеризується вогневими склепіннями і міцною центральною колоною.
