Първите определени новини за крепостта, построена в Кастровилари, датират от последния период на управлението на Анжу и се срещат в двата мандата на 1432 на крал Луи III от Анжу за изграждането на кулата и крепостта Кастровилари. Споменатата кула може да бъде идентифицирана с един от четирите замъка додекаедра. Той е завладян през 1440 г. от крал Алфонсо Арагонски, който след изгонването на фракцията тел-Анжу, заповядва да се построи крепост близо до пристанището на веригата и стената. Строителните работи бяха подновени през 1461 г., след края на въстанието анти-арагонски, водено от Антонио Centelles, че в Castrovillari намери подкрепа Франческо Муза, но са били системно се стартира само след la congiura dei baroni през 1485, когато Арагонски включва изграждане на замък по-безопасно, отколкото в малко имение angioino, че да вдъхнат страх в населението винаги е било враждебно настроени към него. Крал Фердинанд I Арагонски възложи изграждането на замъка Loisetto de Summa, капитан на Земята на Кастровилари, който трябваше да използва приходите, получени от търга на стабилни активи, конфискувани от бунтовниците. Работата започна през 1487 г., са били завършени през 1490 г., както гласи надписът на надгробной плоча на портала, гарнирани с стопанските от реални оръжия, арагонских, заобиколен от две купидон, е същото, което вие сте изправени пред замъка Белведере Marittimo, Corigliano Калабро и пицо Калабро. Замъкът е проектиран по критериите на известния военен архитект Франческо Ди Джорджо Мартини, работещ в двора на Арагон. Внушителната сграда, оборудвана с повдигащ мост, покрит с две бойници, беше заобиколена от дълбок ров, сега напълно погребан. Корпусът му е правоъгълен, снабден с четири цилиндрични кули. Най-голямата кула, така наречения "замък", украсени с висящи арки, наречени beccatelli, е известен като "печално известната кула" поради наказания, наложени на лишените от свобода, които са били заключени в нея. От 1521 г., след като император Карл V инфеудира град Кастровилари на благородното семейство Спинели Кариати, Арагонският замък става затвор. Още по-ужасно е 800, когато по време на борбата с разбойниками "печално известната кула" се превърна в място за ужасни престъпления, включително и заради брутален и жесток тъмничаря Франческо Минервини да Касано. Този период включва работата по изграждането на древни фабрики. От 1995 г.Тя е частично възстановена и отворена за обществеността.