Pałac wikariuszy jest wynikiem procesu późniejszej akrecji wokół pierwotnego rdzenia składającego się z wieży. Podczas ' 300 wieża miała być połączona rdzeń do rezydencji kapitana; w 1366 roku przystąpił do wykonywania licznych prac w zamku, w tym interwencji "w szalunku", "odzysku" "saettamento" i "Sula Tore straży chastaño Ci facino cztery kosy, które zostały rozpakowane i chaduti". W XVI wieku był to kluczowy moment w konfiguracji budynku; w wyniku trzęsienia ziemi w 1542 roku, jednak w rzeczywistości, znaczne szkody w budowie, w tym następujących operacji odbudowy, które dały pałacowi pokój ostatecznie następstwie obecnego (przynajmniej jeśli chodzi o rezydencję wikariusza i sal konferencyjnych). Przebudowa doprowadziła również do ostatecznego umieszczenia więzień umieszczonych w pomieszczeniach położonych na parterze (dziś Loggia). Zmiany i remonty nadal wpłynęły na Pałac podczas '600, po nowym zdarzeniu sejsmicznym, które miało miejsce w dniu 8 września 1611. Pracę remontowe zakończono w sierpniu 1612 roku, a pod koniec operacji Pałac częściowo zmienił swoje oblicze. Barbakany do wzmacniania ścian, spadzisty dach na elewacji, tynkowanie elewacji, układanie i skręcanie dużej ściany bocznej w kierunku drzwi S. Agata, są najbardziej oczywistymi pracami na zewnątrz. Wraz z kilkoma innymi zmianami Pałac przybrał cechy morfologiczne, które pozostały niezmienione do połowy XIX wieku, kiedy to budynek został ponownie dotknięty renowacją i rekonstrukcją. Uszkodzenia powstałe w wyniku trzęsienia ziemi w 1960 roku, a także niestabilności podłoża fundamentowego, były przedmiotem skomplikowanej operacji konsolidacji i odbudowy (począwszy od 1980 roku), która zakończyła się w 1999 roku z odbudowy środowiska pomnika i przebudowy skrzydła północnego, w którym mieści się Muzeum Żelaza ostre.