În partea superioară a Monte Sant ' Angelo se află un alt loc foarte interesant: Castelul, o cetate care datează din prima jumătate a secolului al IX-lea, construită la cererea lui Orso i, Episcop de Benevento. Deosebit de impresionant este una dintre cele mai vechi părți ale sale, Turnul giganților de aproximativ 18 metri înălțime și cu pereți de 3 metri grosime. Castelul era dotat cu zone rezidențiale, dar nu lipseau spațiile destinate închisorii. Structura de-a lungul timpului a suferit mai multe modificări, inițial Castrum Bizantin, în secolul al IX-lea, cetatea a fost ulterior flancată de așa-numitul turn de giganți. Sub Frederic al II-lea a fost extins și îmbunătățit și a ajuns acasă la iubita împăratului, Bianca Lancia, cu care a trăit câțiva ani și din care au avut cei doi fii Enzo și Manfredi. Din această epocă, există încă o cameră drăguță, numită Camera comorilor, caracterizată prin bolți ogivale și un stâlp central robust.