A la part superior de Monte Sant'angelo destaca un altre lloc molt interessant: el Castell, una fortalesa que es remunta a la primera meitat del segle ix construït a instàncies de Orso jo, Bisbe de Benevento. Especialment espectacular és una de les seves parts més antigues, La Torre De Gegants uns 18 metres d'alçada i amb parets de 3 metres de gruix. El castell va ser equipat amb zones residencials, però no hi havia escassetat de locals destinats a la presó. L'estructura al llarg del temps ha sofert diversos canvis, originalment Bizantí castrum, en el segle IX, la fortalesa va ser posteriorment flanquejat per l'anomenada Torre De Gegants. Sota Frederic II va ser ampliat i millorat, i fet a casa de l'emperador amant, Bianca Lancia, amb qui va viure durant uns anys i de la qual van tenir els seus dos fills Enzo i Manfredi. Des d'aquesta època, encara hi ha una bonica sala, anomenada Sala del Tresor, que es caracteritza per ogival voltes i una sòlida columna vertebral.
