A aldea de Scarlino está dominada pola fortaleza medieval..Desde as escavacións arqueolóxicas realizadas entre 1979 e 1983, xa que a área foi habitada desde finais da idade de bronce (XII - X. C.), pero tan lonxe como o rocca, a primeira mención de "curtis" de Scarborough datas de volta para o 973, cando a posesión foi do Aldobrandeschi familia. Entre o XI e XII a liquidación sufriu un considerable construtivo de mellora e un documento de 1277, ano no que o castelo foi cedido polos condes Alberti para o concello de Pisa, mostra indicios de varios edificios. Co Pisans a Fortaleza foi restaurada e ampliada, a cidade tamén sufriu importantes transformacións e moitos edificios foron destruídos para ser totalmente reconstruída. En 1399 Scarlino pasou para o Appiano que realiza unha nova renovación da fortaleza coa construción da segunda parede.Hoxe pode admirar as impoñentes ruínas do edificio, composto de tres angular torres de diferentes formas acompañado por varios parede cortinas. A Fortaleza está ben preservada, mentres que as paredes que rodean a cidade medieval son só parcialmente preservada. A estrutura da Fortaleza ten unha forma pentagonal e está formado por dúas paredes, nas esquinas hai tres grandes torres, un dos cales é de forma circular.