I den øverste del af Monte Sant ' Angelo står et andet meget interessant sted: slottet, en fæstning, der går tilbage til første halvdel af det niende århundrede Bygget på anmodning af Orso I, biskop af Benevento. Særligt imponerende er en af dens ældste dele, Gigantstårnet omkring 18 meter højt og med vægge 3 meter tykke. Slottet var udstyret med boligområder, men der var ingen mangel på lokaler beregnet til fængsel. Strukturen over tid har gennemgået flere ændringer, oprindeligt by .antinsk Kastrum, i I.århundrede blev fæstningen efterfølgende flankeret af det såkaldte Gigantstårn. Under Frederik II blev det udvidet og forbedret, og lavet hjem til kejserens elsker, Bianca Lancia, med hvem han levede i nogle år, og hvorfra de havde deres to sønner Enzo og Manfredi. Fra denne periode er der stadig et smukt rum, kaldet Skatteværelset, kendetegnet ved ogival-hvælvinger og en robust central søjle.
