Prve određene vijesti o tvrđavi izgrađenoj u Castrovillariju datiraju iz posljednjeg razdoblja vladavine anjujaca i nalaze se u dva mandata 1432 kralja Luja III Anjuiskog za izgradnju tornja i tvrđave Castrovillari. Navedeni toranj može se identificirati s jednim od četiri dvorca dodekaedre. Također je osvojio 1440 kralj Alfonso Aragonski, koji je, nakon što je izbačen dio žice-Anžujski, naredio izgradnju tvrđave u blizini luke lanca i zida. Građevinski radovi su obnovljeni 1461. godine, nakon završetka anti-Aragonske pobune koju je vodio Antonio Centelles, koji je u Castrovillari pronašao potporu Francesco muza, ali su sustavno pokrenuti tek nakon la congiura dei baroni u 1485, kada je Aragonski predviđeno za izgradnju dvorca sigurnije nego u malom imanju angioino, da je usaditi strah u populaciju uvijek bio neprijateljski prema njima. Kralj Ferdinand I Aragonski povjerio je izgradnju dvorca Loisetto de Summa, kapetana zemlje Castrovillary, koji je morao iskoristiti prihode dobivene od aukcije stabilne imovine oduzete od pobunjenika. Radovi su započeli 1487. godine, završeni 1490. godine, kao što piše natpis nadgrobnog spomenika na portalu, na vrhu s grbom pravih oružja, Aragon, okružen dvama amurovima, isto kao što ste naišli na dvorce Belvedere-Marittimo, Corigliano Calabro i Pizzo Calabro. Dvorac je dizajniran prema kriterijima poznatog vojnog arhitekta Francesca Di Giorgio Martini, koji radi na Aragonskom dvorištu. Impozantna zgrada, opremljena podiznim mostom na vrhu dviju boraca, bila je okružena dubokim jarkom, sada potpuno pokopanom. Njegovo je tijelo bilo pravokutno, opremljeno četverocilindričnim tornjevima. Najveći toranj, takozvani "dvorac", ukrašen visećim lukovima zvanim beccatelli, poznat je kao "zloglasni toranj" zbog kazni nametnutih zatvorenicima koji su bili zaključani u njemu. Od 1521. godine, nakon što je car Carl V infeudirao Grad Castrovillari plemenite obitelji Spinelli Cariati, Aragonski dvorac postao je zatvor. Još je strašnije bilo 800 kada je, tijekom borbe protiv razbojnika, "zloglasni toranj" postao mjesto strašnih zločina, uključujući i nasilnog i brutalnog zatvorenika Francesca Minervinija da Cassana. To je razdoblje koje uključuje rad na izgradnji drevnih tvornica. Od 1995. godine djelomično je obnovljena i otvorena za javnost.
