Im oberen Teil von Monte Sant'Angelo steht ein weiterer sehr interessanter Ort: die Burg, eine Festung aus der ersten Hälfte des neunten Jahrhunderts, die auf Geheiß von Orso I., dem Bischof von Benevento, erbaut wurde. Besonders beeindruckend ist einer seiner ältesten Teile, der Turm der Riesen, etwa 18 Meter hoch und mit 3 Meter dicken Mauern. Das Schloss war mit Wohnbereichen ausgestattet, aber es fehlte nicht an Räumen für das Gefängnis. Die Struktur hat im Laufe der Zeit mehrere Veränderungen durchgemacht, ursprünglich ein byzantinisches Castrum, im neunten Jahrhundert wurde die Festung später vom sogenannten Turm der Riesen flankiert. Unter Friedrich II. wurde es erweitert und verbessert und zur Residenz der Mätresse des Kaisers, Bianca Lancia, gemacht, mit der er einige Jahre zusammenlebte und von der seine beiden Söhne Enzo und Manfredi gemeinsam lebten. Aus dieser Zeit ist noch ein anmutiger Raum, Sala del Tesoro (Schatzkammer) genannt, erhalten, der sich durch Spitzbogengewölbe und einen starken zentralen Pfeiler auszeichnet.
