I den övre delen av Monte Sant ' Angelo står en annan mycket intressant plats: slottet, en fästning som går tillbaka till den första halvan av nionde århundradet byggdes på uppdrag av Orso I, biskop av Benevento. Särskilt imponerande är en av dess äldsta delar, Giants torn ca 18 meter högt och med väggar 3 meter tjocka. Slottet var utrustat med bostadsområden, men det fanns ingen brist på lokaler avsedda för fängelse. Strukturen över tiden har genomgått flera förändringar, ursprungligen bysantinsk castrum, I IX-talet, var fästningen därefter flankerad av det så kallade tornet av jättar. Under Frederick II utökades och förbättrades, och gjorde hem till kejsarens älskare, Bianca Lancia, med vilken han bodde i några år och från vilken de hade sina två söner Enzo och Manfredi. Från denna period finns det fortfarande ett vackert rum, kallat skattrummet, kännetecknat av ogivalvalv och en robust central pelare.
