Monte Sant ' Angelo felső részén egy másik nagyon érdekes hely áll: a kastély, egy erőd, amely a kilencedik század első felére nyúlik vissza, I. Orso parancsára épült, Benevento püspöke. Különösen lenyűgöző az egyik legrégebbi része, a 18 méter magas óriások tornya, 3 méter vastag falakkal. A kastély lakóövezetekkel volt felszerelve, de nem volt hiány a börtönbe szánt helyiségekből. A szerkezet idővel számos változáson ment keresztül, eredetileg Bizánci castrum, a IX században, az erődöt később az úgynevezett óriások tornya szegélyezte. Frigyes alatt kibővítették és továbbfejlesztették, és otthont adtak a császár szeretőjének, Bianca Lancia-nak, akivel néhány évig élt, ahonnan két fiuk, Enzo és Manfredi született. Ebből az időszakból, még mindig van egy szép szoba, az úgynevezett Kincses szoba, jellemzi ogival boltívek, valamint egy robusztus központi pillér.
