A súa orixe está moi probablemente vinculada aos longobardos que fortificaron a fortaleza cara ao século V/VI, despois pasou baixo os suevos, os anxevinos e os aragoneses e pouco a pouco a estrutura adquiriu un aspecto máis elaborado. Posteriormente pertenceu ás familias Caraffa, De Corvis, Nanni e Nanni-Croce que mantiveron o castelo dende 1806 ata 1980, cando o doaron ao Concello. O pazo foi remodelado e restaurado ao longo dos séculos; a configuración actual é froito de importantes obras rematadas en 1996.O trazado aínda dominante no conxunto remóntase ao período anxevino-aragonés (século XV) con evidentes estratificacións que se remontan a diversas épocas. O castelo caracterízase por unha planta irregular e articulada que segue a tendencia do espolón rupestre sobre o que está empoleirado e está encerrado entre poderosos muros apoiados no saliente. Accédese á fortaleza subindo unha longa escalinata que conduce á ponte levadiza e despois á porta, de carballo macizo. Entrando no vestíbulo, que ten un chan de ladrillo disposto en espiña de peixe, advírtese de inmediato na torre de centinela, continuando pola escalinata, que atravesan unhas estancias rectangulares, chégase á torre do cárcere, despois á torre da Angioina, á zona da igrexa , ata o atalaia e seguindo pola pasarela chegas á porta. Unha visita verdadeiramente única e emocionante que devolve o encanto do mundo medieval. Actualmente, o castelo tamén se utiliza como espazo expositivo e acolle eventos culturais, incluso ao aire libre.
