En la parte superior del Monte Sant'Angelo se encuentra otro lugar muy interesante: el Castillo, una fortaleza de la primera mitad del siglo IX construida a instancias de Orso I, obispo de Benevento. Particularmente impresionante es una de sus partes más antiguas, la Torre de los Gigantes, de unos 18 metros de altura y con paredes de 3 metros de espesor. El castillo estaba equipado con zonas residenciales, pero no faltaban habitaciones para la prisión. La estructura ha sufrido varios cambios a lo largo del tiempo, originalmente un castrum bizantino, en el siglo IX, la fortaleza fue posteriormente flanqueada por la llamada Torre de los Gigantes. Bajo Federico II se amplió y mejoró, y se convirtió en la residencia de la amante del emperador, Bianca Lancia, con la que vivió durante algunos años y de la que vivieron juntos sus dos hijos Enzo y Manfredi. De esta época se conserva una elegante sala, llamada Sala del Tesoro, caracterizada por bóvedas ojivales y un fuerte pilar central.
