Landsbyen Scarlino domineres af den middelalderlige fæstning..Fra de arkæologiske udgravninger, der blev foretaget mellem 1979 og 1983, kom det frem, at området var beboet fra den sene bronzealder (XII - X. C.), men for så vidt som rocca, den første omtale af "curtis" af Scarborough går tilbage til 973, når de var i besiddelse af Aldobrandeschi familie. Mellem XI og XII århundrede forliget gennemgik en betydelig konstruktiv forbedring og et dokument af 1277, år, hvor slottet blev afstået af tæller Alberti til kommunen i Pisa, viser indikationer af forskellige bygninger. Med Pisanerne blev fæstningen restaureret og udvidet, byen gennemgik også betydelige transformationer, og mange bygninger blev ødelagt for at blive fuldstændig genopbygget. I 1399 gik Scarlino til Appiano, der gennemførte en ny renovering af fæstningen med opførelsen af den anden mur.I dag kan du beundre de imponerende ruiner af bygningen, der består af tre kantede tårne af forskellige former forbundet med forskellige væggardiner. Fortet er godt bevaret, mens væggene omkring middelalderbyen kun delvist er bevaret. Fæstningens struktur har en femkantet form og er dannet af to vægge, i hjørnerne er der tre store tårne, hvoraf den ene er cirkulær i form.
