Altrimenti conosciuto come "Castello Guerritore", sovrasta il centro abitato ed è uno dei tipici castelli baronali del Sud: edificato su un compatto masso calcareo, ha forma vagamente trapezoidale e la sua planimetria rimanda ad un disegno castrense largamente recepito nella tarda fortificazione normanna, cioè un recinto tendenzialmente circocentrico. In assenza di dati stratigrafici desumibili da una indagine archeologica, si può solo ipotizzare che la nuova fortificazione rinascimentale abbia utilizzato strutture antiche o almeno la tipologia cui si accennava. La prima data certa di epoca medievale è il 1114, quando S. Maria de Foris, casale di Oliveto, fu data all'arcivescovo di Conza dal conte Guaimario di Giffoni. Dal 1600 alla fine del 1700 esso fu dunque abitato dai feudatari che tennero Oliveto e pertanto ancora presenta delle finestre, di cui alcune tompagnate, con caratteri stilistici seicenteschi o almeno tardo-rinascimentali. Oggi ospita in una sezione il Museo Archeologico Lucano dell'Alta Valle del Sele che raccoglie testimonianze significative della cosiddetta "cultura di Oliveto–Cairano", vicina alla "Fossakultur" o cultura delle tombe a fossa - tipica dell'Età del Ferro. Di particolare suggestione le collezioni di monili femminili provenienti da corredi tombali databili fra il quinto e il sesto secolo avanti Cristo ivi esposte. Orecchini, pendenti, fibule, collane, bracciali: oggetti di fattura pregevolissima e dal gusto sorprendentemente contemporaneo.
