Primele informații despre o cetate construită în Castrovillari datează din ultima perioadă a domniei lui Angioini și se găsesc în două mandate din 1432 ale regelui Ludovic al III-lea de Anjou pentru construcția turnului și a cetății Castrovillari. Turnul menționat ar putea fi identificat cu unul dintre cele patru ale castelului de forma dodecahedra. A fost cucerită în 1440 de Alfonso de Aragon care, după ce a expulzat fracțiunea pro-Angevin, a ordonat construirea unei cetăți lângă Poarta lanțului și zidurile înconjurătoare. Lucrările de construcție au fost reluate în anul 1461, după sfârșitul anti-aragoneză, condus de Antonio Centelles, care în Castrovillari și, de asemenea, a avut sprijinul Francesco Musitano, dar au fost în mod sistematic a început numai după conspirație de baronii din 1485, când Aragoneză a procedat pentru a construi un castel mai sigure comparativ cu mic conac, angevina, care a făcut frică în rândul populației întotdeauna ostil față de ele. Regele Ferdinand I al Aragonului a comandat construirea castelului Loisetto de Summa, căpitan al țării Castrovillari, care urma să utilizeze veniturile din licitația bunurilor stabile confiscate de la revoltători. Lucrările, începute în 1487, au fost finalizate în 1490, după cum se menționează în inscripția plăcii de pe portal, surmontată de stema regalului aragonez, flancată de doi putti, același lucru care se găsește pentru castelele Belvedere Marittimo, Corigliano Calabro și Pizzo Calabro. Castelul a fost proiectat după criteriile celebrului arhitect militar Francesco Di Giorgio Martini, care lucra la curtea din Aragon. Clădirea impunătoare, dotată cu un pod mobil surmontat de două lacune, a fost înconjurată de un șanț adânc, acum complet îngropat. Corpul său era dreptunghiular cu patru turnuri cilindrice. Cel mai mare turn, așa-numitul" Keep", decorat cu arcade suspendate numite beccatelli, este din păcate cunoscut sub numele de" Turnul infam " din cauza pedepselor aplicate prizonierilor care au fost închiși în el. Din 1521, după ce Împăratul Carol al V-lea a infestat orașul Castrovillari familiei nobile Spinelli din Cariati, Castelul aragonez a devenit închisoare. Și mai atroce a fost anul 800, când, în timpul luptei împotriva brigandajului, "Turnul infam" a devenit scena unor crime oribile, tot din cauza unui temnicer feroce și crud, Francesco Minervini Da Cassano. Din această perioadă datează și lucrările de ridicare a fabricilor antice. Din 1995 a fost parțial restaurată și deschisă publicului.