l Palazzo dei Vicari è frutto di un processo di successivo accrescimento intorno ad un nucleo originario costituito dalla torre. Nel corso del '300 alla torre doveva essere stato accorpato un nucleo per la residenza del Capitano; nel 1366 si procedeva a fare numerosi lavori al castello, fra cui interventi "alla camera del cassero", "restauro" del "saettamento" e "sula tore della guardia del chastagno si faccino quattro merli che son disfatti e chaduti". Il XVI secolo è stato un momento chiave nella configurazione del Palazzo; a seguito del terremoto del 1542 si ebbero, infatti, ingenti danni alla costruzione, cui seguirono interventi di ripristino che dettero al palazzo una sistemazione definitiva, prossima all'attuale (almeno per ciò che riguarda la residenza del Vicario e le sale di rappresentanza). La ricostruzione aveva anche portato alla definitiva sistemazione delle prigioni, alloggiate negli ambienti voltati al piano terreno (oggi loggia). Modifiche e riparazioni interessarono ancora il Palazzo nel corso del '600, a seguito di un nuovo evento sismico verificatosi il giorno 8 settembre 1611. I lavori di riparazione giunsero a termine nell'agosto del 1612, ed alla fine degli interventi il palazzo aveva in parte mutato la sua fisionomia. Barbacani per rinforzare le murature, tetto spiovente sulla facciata, intonacatura della facciata, sistemazione e arricciatura della grande parete laterale verso porta S. Agata, sono i lavori più evidenti all'esterno. Con poche altre modifiche il Palazzo assunse le caratteristiche morfologiche che rimasero invariate fino alla metà del XIX secolo, quando l'edificio fu nuovamente interessato da interventi di restauro e rimaneggiamenti. I danni verificatisi a seguito del terremoto del 1960, unitamente alla precarietà del terreno di fondazione, sono stati oggetto di un impegnativo intervento di consolidamento e restauro (a partire dal 1980) conclusosi nel 1999 con il recupero degli ambienti monumentali e la ricostruzione dell'ala nord, in cui è ospitato il Museo dei Ferri Taglienti.