El poble de Scarlino està dominat per la fortalesa medieval..A partir de les excavacions arqueològiques dutes a terme entre els anys 1979 i 1983, es va posar de relleu que la zona va ser habitada des de finals de l'edat del bronze (s. XII - X. C.), però fins ara, la rocca, la primera menció de la "curtis" de Scarborough remunta a l'973, quan la possessió era de la Aldobrandeschi família. Entre els segles XI i XII la liquidació va experimentar una considerable constructiu de millora i un document de 1277, any en el que el castell fou cedit pels comtes Alberti al municipi de Pisa, mostra les indicacions de diversos edificis. Amb els Pisans la Fortalesa va ser restaurat i ampliat, la ciutat també va patir importants transformacions i molts edificis van ser destruïts per ser completament reconstruït. En 1399 Scarlino passat a la Appiano que ha portat a terme un nou procés de rehabilitació de la fortalesa amb la construcció de la segona muralla.Avui es pot admirar l'imponent ruïnes de l'edifici, compost de tres angular torres de diferents formes units per diverses paret cortines. La Fortalesa és ben conservades, mentre que les parets que envolten la ciutat medieval són només parcialment conservat. L'estructura de la Fortalesa té una forma pentagonal i està format per dues parets, a les cantonades hi ha tres grans torres, una de les quals és de forma circular.
