המידע הראשון על מבצר שנבנה בקסטרווילארי החל מתקופה האחרונה של שלטון אנג 'וליני, ונמצא בשני מנדטים של המלך לואי השלישי, מלך אנז' ו, אשר הוקמו בשנת 1432 עבור בניית המגדל ומבצר קסטרובילארי. ניתן לזהות את המגדל עם אחת מארבע מצורת דודקהדרה. הוא נכבש בשנת 1440 על ידי אלפונסו מאראגון, אשר לאחר שסילק את הפלג פרו-אנגווין, הורה לבנות מבצר ליד שער השרשרת והחומות שמסביב. עבודות הבנייה התחדשו ב-1461, לאחר סיום האראגונזית, בהנהגתו של אנטוניו סנטלס (Antonio Centelles), אשר בקסטרווילארי (Castrovillari) והייתה לו גם התמיכה של פרנצ ' סקו מוזיטאנו (Francesco Musitano), אך החלו באופן שיטתי רק לאחר קנוניית הברונים ב-1485, כאשר ארגון הפחד המשיך לבנות טירה קטנה יותר בטוחה בהשוואה לאחוזה הקטנה, שהייתה עוינת יותר. המלך פרדיננד הראשון מאראגון הזמין את בניית הטירה לואיסטו דה סומה, הקפטן של ארץ קסטרובילארי, שהייתה אמורה להשתמש ברווחים מהמכירה הפומבית של נכסים יציבים שנתפסו על ידי הפורעים. העבודות, שהחלו בשנת 1487, הושלמו בשנת 1490, כפי שצוין בחריטה על הלוח על השער, התגברו על שלט האצולה המלכותי האראגונזי, מוקף בשני פוטי, אותו הדבר המצוי בטירות בבלוודייר מריטימו, קוריגליאנו קלברו ופיצו קלברו. הטירה תוכננה על פי הקריטריונים של האדריכל הצבאי המפורסם פרנצ 'סקו די ג' ורג ' יו מרטיני, שעבד בבית המשפט של אראגון. הבניין המרשים, המצויד בגשר המתרומם, שסופר על ידי שתי פרצות, היה מוקף בחפיר עמוק, שעכשיו קבור לחלוטין. גופו היה מלבני עם ארבעה מגדלים גליליים. המגדל הגדול ביותר, שנקרא "שמור", מעוטר בקשתות תלויות בשם בקטלי, ידוע למרבה הצער כ "מגדל הידוע לשמצה" בגלל העונשים שנגרמו על האסירים שהיו כלואים בו. מ-1521, לאחר שהקיסר צ ' ארלס ה-5 שורץ בעיר קסטרובילארי למשפחת ספינלי האצילית של קאריאטי, הפכה הטירה לארגונזית לכלא. עוד יותר זוועתי היה 800, כאשר, במהלך המאבק נגד brigandage, "המגדל הידוע לשמצה" הפך למקום של פשעים נוראיים, גם בגלל סוהר אכזרי ואכזרי, פרנצ ' סקו Minervini Da Cassano. החל מתקופה זו, העבודות בהקמת המפעלים העתיקים מתוארכות גם הן. מאז 1995 הוא שוחזר באופן חלקי ופתוח לציבור.