De eerste informatie over een fort in Castrovillari dateert uit de laatste periode van de heerschappij van de Angioini en is te vinden in twee mandaten van 1432 van koning Lodewijk III van Anjou voor de bouw van de toren en Fort van Castrovillari. Deze toren kan geïdentificeerd worden met een van de vier van het kasteel van dodecahedra vorm. Het werd in 1440 veroverd door Alfonso van Aragón, die, nadat hij de pro-Angevin factie had verdreven, opdracht gaf een fort te bouwen nabij de Kettingpoort en de omliggende muren. De bouwwerkzaamheden werden hervat in 1461, na het einde van de anti-aragonese, geleid door Antonio Centelles, die in Castrovillari en ook de steun van Francesco Musitano, maar werden systematisch pas gestart na de samenzwering van de baronnen van 1485, toen de Aragonese ging bouwen een kasteel veiliger in vergelijking met het kleine landhuis, de angevin, die de angst in de bevolking altijd vijandig tegenover hen. Koning Ferdinand I van Aragon gaf opdracht tot de bouw van het kasteel Loisetto de Summa, kapitein van het land Castrovillari, dat de opbrengst zou gebruiken van de veiling van stabiele activa die van de relschoppers in beslag werden genomen. De werken, begonnen in 1487, werden voltooid in 1490, zoals vermeld in de inscriptie van de plaquette op het portaal, gesitueerd door het wapen van de Koninklijke Aragonese, geflankeerd door twee putti, hetzelfde dat wordt gevonden voor de kastelen van Belvedere Marittimo, Corigliano Calabro en Pizzo Calabro. Het kasteel werd ontworpen volgens de criteria van de beroemde militaire architect Francesco Di Giorgio Martini, werkzaam aan het Hof van Aragon. Het imposante gebouw, uitgerust met een ophaalbrug over twee mazen, werd omringd door een diepe gracht, nu volledig begraven. Zijn lichaam was rechthoekig met vier cilindrische torens. De grootste toren, de zogenaamde" Keep", versierd met hangbogen genaamd beccatelli, staat helaas bekend als de" beruchte toren " vanwege de straffen die werden opgelegd aan de gevangenen die erin opgesloten zaten. Vanaf 1521, nadat Keizer Karel V de stad Castrovillari had besmet met de adellijke familie Spinelli van Cariati, werd het kasteel van Aragon een gevangenis. Nog gruwelijker was de 800, toen tijdens de strijd tegen de bandiet de "beruchte toren" het toneel werd van afschuwelijke misdaden, ook vanwege een felle en wrede cipier, Francesco Minervini Da Cassano. Het is uit deze periode dat de werken van het optrekken van de oude fabrieken ook terug dateren. Sinds 1995 is het gedeeltelijk gerestaureerd en toegankelijk voor het publiek.
