Primeiro certa información sobre unha fortaleza construída en Castrovillari data de volta para o último período da regra do Angioini e son atopados en dous mandatos de 1432 do Rei Luís i de Anjou para a construción da torre e Fortaleza de Castrovillari. Dixo torre podería ser identificados con un dos catro do castelo de dodecahedra forma. Foi conquistada en 1440 por Afonso de Aragón que, despois de ter expulsado o pro-Angevin facción, mandou construír unha fortaleza preto da Cadea Porta e paredes circundantes. As obras de construción foron retomadas en 1461, despois do fin da anti-aragonés, liderado por Antonio Centelles, que en Castrovillari e tamén tivo o apoio de Francesco Musitano, pero foron sistematicamente comezou só despois de que a conspiración dos baróns de 1485, cando o Aragonés comezou a construír un castelo máis seguro en comparación coa pequena mansión, o angevino, que fixo o medo na poboación sempre hostís cara a eles. O rei Fernando I de Aragón encomendou a construción do Castelo Loisetto De Summa, capitán da terra de Castrovillari, que foi para utilizar o produto da poxa de estable bens incautados a partir de manifestantes. As obras, iniciadas en 1487, foron concluídas en 1490, como se indica na inscrición da placa no portal, encimada por o escudo de armas da Real Aragonés, flanqueado por dous putti, o mesmo que está a atopar para os castelos de Belvedere Marittimo, Corigliano Calabro e Pizzo Calabro. O castelo foi deseñado de acordo cos criterios do famoso arquitecto militar Francesco Di Giorgio Martini, a traballar na corte de Aragón. O impoñente edificio, equipado con unha ponte levadiza encimado por dúas lagoas, foi rodeado por un profundo foso, agora totalmente enterrado. O seu corpo foi rectangular con catro torres. A maior torre, o chamado" Manter", decorado con colgado arcos chamado beccatelli, é, por desgraza, coñecido como o" infame torre " por mor da castigos inflixido sobre os prisioneiros que foron encerrados na mesma. Desde 1521, despois de que o Emperador Carlos V infestados cidade de Castrovillari para o Nobre Spinelli familia de Cariati, o Castelo aragonés tornouse unha prisión. Aínda máis atroz foi a 800, cando, durante a loita contra o banditismo, o "infame torre" chegou a ser o escenario de crimes horrendos, tamén debido a unha feroz e cruel carcereiro, Francesco Minervini Da Cassano. É a partir deste período que as obras de captación de antigas fábricas tamén data de volta. Desde 1995 foi parcialmente restaurada e aberta ao público.