In het bovenste deel van Monte Sant ' Angelo staat nog een heel interessante plek: het kasteel, een fort uit de eerste helft van de negende eeuw, gebouwd op verzoek van Orso i, bisschop van Benevento. Bijzonder indrukwekkend is een van de oudste delen, De Toren van reuzen ongeveer 18 meter hoog en met muren 3 meter dik. Het kasteel was uitgerust met woonwijken, maar er was geen tekort aan lokalen bestemd voor de gevangenis. De structuur heeft in de loop van de tijd verschillende veranderingen ondergaan, oorspronkelijk Byzantijnse castrum, in de IX eeuw, werd het fort vervolgens geflankeerd door de zogenaamde Toren van reuzen. Onder Frederik II werd het uitgebreid en verbeterd, en werd het huis van de minnaar van de keizer, Bianca Lancia, met wie hij enkele jaren leefde en waarvan zij hun twee zonen Enzo en Manfredi hadden. Vanaf deze periode is er nog steeds een mooie kamer, genaamd De Schatkamer, gekenmerkt door ogival kluizen en een robuuste centrale pilaar.
