Primera certa informació sobre una fortalesa construïda en Castrovillari es remunten a l'últim període de la regla de la Angioini i es troben a dos mandats de 1432 del Rei Lluís III d'Anjou per a la construcció de la torre i Fortalesa de Castrovillari. Dit de la torre podria ser identificat amb una de les quatre del castell de dodecahedra forma. Va ser conquerida el 1440 per Alfons d'Aragó que, després d'haver expulsat els pro-Angeví facció, va ordenar construir una fortalesa a prop de la Cadena de la Porta i l'entorn de les parets. Les obres es van reprendre l'any 1461, després de la fi de l'anti-aragonès, dirigit per Antonio Centelles, que en Castrovillari i també ha tingut el suport de Francesco Musitano, però van ser sistemàticament va començar només després de la conspiració dels barons de 1485, quan l'Aragonès va procedir a construir un castell més segura respecte a la petita mansió, l'angeví, que va fer que la por a la població, sempre hostil. El rei Ferran I d'Aragó va encarregar la construcció del Castell Loisetto De Summa, capità de la terra de Castrovillari, que es va utilitzar el producte de la subhasta dels estable actius es va apoderar de la rioters. Les obres, iniciades al 1487, es van finalitzar en el 1490, tal com consta en la inscripció de la placa del portal, rematades amb l'escut de la Reial Aragonès, flanquejat per dos putti, la mateixa que es troba per els castells de Belvedere Marittimo, Corigliano Calabro i Pizzo Calabro. El castell va ser dissenyat d'acord amb els criteris del famós militar arquitecte Francesco Di Giorgio Martini, que treballa a la cort d'Aragó. L'imponent edifici, dotat d'un pont llevadís rematades per dues espitlleres, estava envoltat per un profund fossat, ara completament enterrat. El seu cos va ser rectangular, amb quatre torres cilíndriques. La més gran de la torre, l'anomenat" Mantenir", decorades amb penjant arcs anomenat beccatelli, és tristament coneguda com la" torre infame " a causa de la càstigs infligits als infants sobre els presoners que van ser tancats en ella. Des de 1521, després de l'Emperador Carles V infestades de la ciutat de Castrovillari a la Noble Spinelli família de Cariati, l'aragonès i el Castell es va convertir en una presó. Fins i tot més atroç va ser el de 800, quan, durant la lluita contra el bandolerisme, la "torre infame" es va convertir en l'escenari d'horrible crims, també a causa d'una ferotge i cruel carceller, Francesco Minervini Da Cassano. És a partir d'aquest període que les obres de la recaptació de les antigues fàbriques també la data de tornada. Des del 1995 ha estat parcialment restaurada i oberta al públic.