Najprv sa určité informácie o pevnosti postavenej v Castrovillari datujú do posledného obdobia pravidla Angioini a nachádzajú sa v dvoch mandátoch z roku 1432 kráľa Ľudovíta III. Anjou na výstavbu veže a pevnosti Castrovillari. Uvedená veža by mohla byť identifikovaná s jedným zo štyroch hradu tvaru dodecahedra. V roku 1440 ho dobyl Alfonso z Aragonu, ktorý po vyhnaní pro-Angevinovej frakcie nariadil postaviť pevnosť v blízkosti reťazovej brány a okolitých múrov. Stavebné práce boli obnovené v roku 1461, po skončení anti-aragonese, vedeného Antoniom Centellesom, ktorý v Castrovillari a tiež mal podporu Francesca Musitana, ale systematicky sa začali až po sprisahaní barónov z roku 1485, keď Aragonci pokračovali v budovaní hradu bezpečnejšie v porovnaní s malým panstvom, angevinom, ktoré spôsobilo, že strach v populácii bol voči nim vždy nepriateľský. Kráľ Ferdinand I. z Aragonu poveril výstavbu hradu Loisetto De Summa, kapitána Castrovillari, ktorý mal použiť výťažok z aukcie stabilných aktív zadržaných od výtržníkov. Práce, ktoré sa začali v roku 1487, boli dokončené v roku 1490, ako je uvedené v nápise plakety na portáli, prekonanom erbom kráľovského Aragonského, lemovaného dvoma putti, to isté sa nachádza pre hrady Belvedere Marittimo, Corigliano Calabro a Pizzo Calabro. Hrad bol navrhnutý podľa kritérií slávneho vojenského architekta Francesca Di Giorgia Martiniho, ktorý pracoval na súde v Aragone. Impozantná budova, vybavená padacím mostom prekonaným dvoma medzerami, bola obklopená hlbokým priekopou, teraz úplne pochovanou. Jeho telo bolo obdĺžnikové so štyrmi valcovitými vežami. Najväčšia veža, takzvaná "Keep", zdobená visiacimi oblúkmi nazývanými beccatelli, je bohužiaľ známa ako "neslávna veža" kvôli trestom uvaleným na väzňov, ktorí boli v nej zamknutí. Od roku 1521, keď cisár Karol V. zamoril Mesto Castrovillari do šľachtickej rodiny Spinelli v Cariati, sa aragonský hrad stal väzením. Ešte krutejšie bolo 800, keď sa počas boja proti zbojnici" neslávna veža " stala scénou strašných zločinov, a to aj kvôli prudkému a krutému žalárnikovi Francescovi Minervinimu da Cassanovi. Z tohto obdobia sa datujú aj práce na zvyšovaní starých tovární. Od roku 1995 bola čiastočne obnovená a sprístupnená verejnosti.