Πρώτα ορισμένες πληροφορίες σχετικά με ένα φρούριο που χτίστηκε στο Castrovillari χρονολογούνται από την τελευταία περίοδο της κυριαρχίας του Angioini και βρίσκονται σε δύο εντολές του 1432 του βασιλιά Louis III του Anjou για την κατασκευή του πύργου και του φρουρίου του Castrovillari. Ο εν λόγω πύργος θα μπορούσε να ταυτιστεί με ένα από τα τέσσερα του κάστρου του σχήματος δωδεκάεδρα. Κατακτήθηκε το 1440 από τον Αλφόνσο της Αραγονίας, ο οποίος, αφού απομάκρυνε την φατρία υπέρ-Ανγκεβίν, διέταξε να χτίσει ένα φρούριο κοντά στην Πύλη της αλυσίδας και στα γύρω τείχη. Οι εργασίες κατασκευής άρχισαν και πάλι το 1461, μετά το τέλος της αντι-αραγκονικά, με επικεφαλής τον Αντόνιο Centelles, που σε Καστροβιλάρι και είχε επίσης την υποστήριξη του Francesco Musitano, αλλά συστηματικά αρχίσει μόνο μετά τη συνωμοσία των βαρόνων του 1485, όταν της Αραγονίας προχώρησε για να οικοδομήσουμε ένα κάστρο για πιο ασφαλή σε σύγκριση με το μικρό manor, η ανδεγαυική, που έκανε το φόβο στον πληθυσμό πάντα εχθρική προς αυτούς. Ο βασιλιάς Φερδινάνδος Α ' της Αραγονίας ανέθεσε την κατασκευή του Κάστρου Loisetto De Summa, καπετάνιου του ομόσπονδου κράτους Castrovillari, το οποίο επρόκειτο να χρησιμοποιήσει τα έσοδα από τη δημοπρασία σταθερών περιουσιακών στοιχείων που κατασχέθηκαν από τους ταραξίες. Τα έργα, που ξεκίνησαν το 1487, ολοκληρώθηκαν το 1490, όπως αναφέρεται στην επιγραφή της πλάκας στην πύλη, που ξεπέρασε το οικόσημο της Βασιλικής Αραγονίας, πλαισιωμένο από δύο putti, το ίδιο που βρίσκεται για τα κάστρα του Belvedere Marittimo, Corigliano Calabro και Pizzo Calabro. Το κάστρο σχεδιάστηκε σύμφωνα με τα κριτήρια του διάσημου στρατιωτικού αρχιτέκτονα Francesco Di Giorgio Martini, που εργάζεται στο δικαστήριο της Αραγονίας. Το επιβλητικό κτίριο, εξοπλισμένο με μια κινητή γέφυρα που ξεπέρασε δύο κενά, περιβάλλεται από μια βαθιά τάφρο, τώρα εντελώς Θαμμένη. Το σώμα του ήταν ορθογώνιο με τέσσερις κυλινδρικούς πύργους. Ο μεγαλύτερος πύργος, το λεγόμενο" Keep", διακοσμημένο με κρεμαστά τόξα που ονομάζεται beccatelli, είναι δυστυχώς γνωστός ως ο" περίφημος πύργος " λόγω των τιμωριών που επιβλήθηκαν στους φυλακισμένους που ήταν κλειδωμένοι σε αυτό. Από το 1521, αφού ο αυτοκράτορας Κάρολος Ε μολύνει την πόλη Καστροβιλάρι στην ευγενή οικογένεια Σπινέλι του Καριάτι, το κάστρο της Αραγονίας έγινε φυλακή. Ακόμη πιο φρικτό ήταν το 800, όταν, κατά τη διάρκεια του αγώνα κατά της ληστείας, ο "περίφημος πύργος" έγινε η σκηνή των φρικιαστικών εγκλημάτων, επίσης λόγω ενός άγριου και σκληρού δεσμοφύλακα, Francesco Minervini Da Cassano. Από την περίοδο αυτή χρονολογούνται και τα έργα της ανύψωσης των αρχαίων εργοστασίων. Από το 1995 έχει αποκατασταθεί εν μέρει και είναι ανοιχτό στο κοινό.
