Connu également sous le nom de château de Guerritore, il domine la ville et est l'un des châteaux baronniaux typiques du sud : construit sur un bloc de calcaire compact, il a une forme vaguement trapézoïdale et son plan rappelle une conception castrale largement utilisée dans les fortifications normandes tardives, c'est-à-dire une enceinte essentiellement circoncentrique. En l'absence de données stratigraphiques pouvant être déduites d'un sondage archéologique, on ne peut qu'émettre l'hypothèse que la nouvelle fortification de la Renaissance a utilisé des structures anciennes ou du moins le type mentionné ci-dessus. La première date certaine de la période médiévale est 1114, lorsque S. Maria de Foris, un hameau d'Oliveto, fut donné à l'archevêque de Conza par le comte Guaimario di Giffoni. De 1600 à la fin de 1700, il a donc été habité par les seigneurs féodaux qui tenaient Oliveto et présente donc encore des fenêtres, dont certaines sont tompagnées, avec des caractéristiques stylistiques du XVIIe siècle ou au moins de la Renaissance tardive. Une partie du bâtiment abrite aujourd'hui le musée archéologique lucanien de la haute vallée du Sele, qui rassemble d'importantes preuves de la culture dite "Oliveto&ndash&Cairano", proche de la "Fossakultur" ou culture des tombes à fosse, typique de l'âge du fer. Les collections de bijoux féminins provenant de tombes datant du cinquième au sixième siècle avant Jésus-Christ sont particulièrement remarquables. Boucles d'oreilles, pendentifs, fibules, colliers, bracelets : des objets de très belle facture et d'un goût étonnamment contemporain.
