Conocido también como castillo de Guerritore, domina la ciudad y es uno de los típicos castillos baroniales del sur: construido sobre un peñasco compacto de piedra caliza, tiene una forma vagamente trapezoidal y su planta recuerda un diseño castrense muy utilizado en las fortificaciones tardías normandas, es decir, un recinto esencialmente circuncentrado. A falta de datos estratigráficos que puedan deducirse de una prospección arqueológica, sólo cabe la hipótesis de que la nueva fortificación renacentista utilizó estructuras antiguas o, al menos, del tipo mencionado. La primera fecha cierta de la época medieval es 1114, cuando S. Maria de Foris, una aldea de Oliveto, fue entregada al arzobispo de Conza por el conde Guaimario di Giffoni. Por lo tanto, desde 1600 hasta finales de 1700 estuvo habitada por los señores feudales que poseían Oliveto y, por ello, aún conserva ventanas, algunas de ellas tompagnate, con rasgos estilísticos del siglo XVII o, al menos, del Renacimiento tardío. Una parte del edificio alberga actualmente el Museo Arqueológico Lucano del Alto Valle del Sele, que recoge importantes testimonios de la llamada cultura "Oliveto–Cairano", cercana a la "Fossakultur" o cultura de las tumbas de fosa - típica de la Edad de Hierro. Son especialmente llamativas las colecciones de joyas femeninas procedentes de ajuares funerarios que datan de los siglos V a VI a.C. que aquí se exponen. Pendientes, colgantes, fíbulas, collares, brazaletes: objetos de finísima factura y de sorprendente gusto contemporáneo.
