Na parte superior do Monte Sant'Angelo encontra-se outro lugar muito interessante: O castelo, uma fortaleza que remonta à primeira metade do século IX Construída a pedido de Orso i, Bispo de Benevento. Particularmente impressionante é uma de suas partes mais antigas, a Torre dos Gigantes com cerca de 18 metros de altura e com paredes de 3 metros de espessura. O castelo estava equipado com áreas residenciais, mas não havia escassez de instalações destinadas à prisão. A estrutura ao longo do tempo sofreu várias mudanças, originalmente castrum Bizantino, no século IX, a fortaleza foi posteriormente flanqueada pela chamada Torre dos Gigantes. Sob Frederico II foi expandido e melhorado, e tornou-se o lar da amante do imperador, Bianca Lancia, com quem ele viveu por alguns anos e a partir do qual tiveram seus dois filhos Enzo e Manfredi. A partir deste período, ainda há uma sala bonita, chamada Sala do Tesouro, caracterizada por cofres ogival e um pilar central robusto.
