Pirma tam tikra informacija apie tvirtovę, pastatytą Castrovillari, datuojama paskutiniu Angioini valdymo laikotarpiu ir yra dviejuose 1432 m.karaliaus Liudviko III Anjou mandatuose, skirtuose Castrovillari bokšto ir tvirtovės statybai. Minėtas bokštas gali būti identifikuotas su vienu iš keturių dodekahedros formos pilies. Jį 1440 m. užkariavo Aragono Alfonsas, kuris, išvedęs pro Angevino frakciją, įsakė pastatyti tvirtovę prie grandininių vartų ir aplinkinių sienų. Statybos darbai buvo atnaujinti 1461 m., pasibaigus Anti-aragoniečiui, vadovaujamam Antonio Centelles, kuris Castrovillari ir taip pat turėjo Francesco Musitano paramą, tačiau buvo sistemingai pradėti tik po 1485 m. baronų sąmokslo, kai Aragoniečiai pradėjo statyti saugesnę pilį, palyginti su mažu angevino dvaru, dėl kurio gyventojų baimė visada buvo priešiška jiems. Aragono karalius Ferdinandas I pavedė Castrovillari žemės kapitonui Loisetto De Summa statyti pilį, kuri turėjo panaudoti iš riaušininkų konfiskuoto stabilaus turto aukciono gautas pajamas. Darbai, pradėti 1487 m., buvo baigti 1490 m., kaip nurodyta plokštelės užraše portale, kurį papildė Karališkojo Aragoneso herbas, kurį papildė du putti, tas pats, kuris randamas Belvedere Marittimo, Corigliano Calabro ir Pizzo Calabro pilims. Pilis buvo suprojektuota pagal garsaus karinio architekto Francesco Di Giorgio Martini, dirbančio Aragono teisme, kriterijus. Įspūdingas pastatas, įrengtas vilkimo tiltu, kurį supa dvi spragos, buvo apsuptas giliu grioviu, kuris dabar yra visiškai palaidotas. Jo kūnas buvo stačiakampis su keturiais cilindriniais bokštais. Didžiausias bokštas, vadinamasis "laikyti", dekoruotas kabančiomis arkomis, vadinamomis beccatelli, yra liūdnai žinomas kaip "liūdnai bokštas" dėl bausmių, padarytų kaliniams, kurie buvo užrakinti. Nuo 1521 m., kai Imperatorius Karolis V užkrėtė Castrovillari miestą kilniai Cariati Spinelli šeimai, Aragoniečių pilis tapo kalėjimu. Dar žiauresnis buvo 800 m., kai kovos su brigandage metu "liūdnai bokštas" tapo siaubingų nusikaltimų scena, taip pat dėl aštraus ir žiauraus kalėjimo, Francesco Minervini Da Cassano. Būtent nuo šio laikotarpio senovės gamyklų kėlimo darbai taip pat datuojami. Nuo 1995 m. ji buvo iš dalies atkurta ir atvira visuomenei.