As primeiras informações sobre uma fortaleza construída em Castrovillari datam do último período do Governo dos Angioinos e são encontradas em dois mandatos de 1432 do rei Luís III de Anjou para a construção da torre e Fortaleza de Castrovillari. A torre pode ser identificada com um dos quatro do Castelo de dodecahedra. Foi conquistada em 1440 por Afonso de Aragão que, depois de ter expulso a facção pró-Angevina, ordenou a construção de uma fortaleza perto do Portão Da Cadeia e das muralhas circundantes. As obras foram retomadas em 1461, após o fim do anti-aragonês, liderada por Antonio Centelles, que em Castrovillari e também teve o apoio de Francesco Musitano, mas foram sistematicamente iniciado apenas depois que a conspiração dos barões de 1485, quando o Aragonês, começaram a construção de um castelo mais segura em comparação com a pequena mansão, o angevino, que fez o medo na população sempre hostil a eles. O rei Fernando I de Aragão encomendou a construção do Castelo Loisetto de Summa, capitão da terra de Castrovillari, que deveria usar o produto do leilão de bens estáveis confiscados dos desordeiros. As obras, iniciadas em 1487, foram concluídas em 1490, conforme indicado na inscrição da placa do portal, encimado pelo brasão de armas do Real Aragonesa, ladeado por dois putti, o mesmo que é encontrado para os castelos de Belvedere Marittimo, Corigliano Calabro e Pizzo Calabro. O castelo foi projetado de acordo com os critérios do famoso arquiteto militar Francesco Di Giorgio Martini, trabalhando na corte de Aragão. O edifício imponente, equipado com uma ponte levadiça encimada por duas brechas, foi cercado por um fosso profundo, agora completamente enterrado. Seu corpo era retangular com quatro torres cilíndricas. A maior torre, a chamada" Torre de Menagem", decorada com arcos Pendurados chamados beccatelli, é tristemente conhecida como a" torre infame " por causa dos castigos infligidos aos prisioneiros que estavam presos nela. A partir de 1521, depois que o Imperador Carlos V infestou a cidade de Castrovillari à nobre família Spinelli de Cariati, o Castelo Aragonês tornou-se uma prisão. Ainda mais atrozes foram os 800, quando, durante a luta contra o bandido, A "torre infame" tornou-se o cenário de crimes horrendos, também por causa de um carcereiro feroz e cruel, Francesco Minervini da Cassano. É a partir deste período que as obras de levantar as fábricas antigas também datam de volta. Desde 1995 tem sido parcialmente restaurado e aberto ao público.
