El seu origen està molt probablement lligat als longobards que van fortificar la fortalesa cap al segle V/VI, després va passar per sota dels suaus, els angevins i els aragonesos i a poc a poc l'estructura va agafar un aspecte més elaborat. Posteriorment va pertànyer a les famílies Caraffa, De Corvis, Nanni i Nanni-Croce que van mantenir el castell des del 1806 fins al 1980, quan el van donar a l'Ajuntament. La casa pairal ha estat remodelada i restaurada al llarg dels segles; la configuració actual és fruit d'importants obres acabades l'any 1996.El traçat encara dominant al conjunt es remunta a l'època angeví-aragonesa (segle XV) amb evidents estratificacions de diverses èpoques. El castell es caracteritza per una planta irregular i articulada que segueix la tendència de l'esperó de roca sobre el qual s'enfila i està tancat dins de poderosos murs recolzats a l'encavalcament. S'accedeix a la fortalesa pujant una llarga escalinata que porta al pont llevadís i després a la porta, feta de roure massís. Entrant al vestíbul, que té el terra de maó disposat en espiga, de seguida s'adverteix la torre de sentinella, seguint per l'escala, que travessen unes estances rectangulars, s'arriba a la torre de la presó, després a la torre de l'Angioina, a la zona de l'església, fins a la talaia i seguint per la passarel·la s'arriba a la porta. Una visita realment única i emocionant que retorna l'encant del món medieval. Actualment, el castell també s'utilitza com a espai expositiu i acull actes culturals, fins i tot a l'aire lliure.
