Klestėjimo laikotarpiu turtingos San Džiminjano šeimos pasistatė net 72 bokštus, kurie simbolizavo jų turtus ir galią. Iš jų 14 išliko iki šių dienų ir suteikia miesteliui žavesio.1990 m. paskelbtas UNESCO pasaulio paveldo objektu, San Džiminjanas yra vienas iš mažųjų Sienos provincijos perlų.San Džiminjanas stovi ant senovinės etruskų gyvenvietės aplink VII a. parapijinę bažnyčią ir 929 m. Volterros episkopatui padovanotą pilį, o XII a. tapo laisva komuna. Pirmosios miesto sienos buvo pastatytos 998 m., t. y. tuo laikotarpiu, kai San Džiminjanas tapo prekybos tašku Via Francigena kelyje. Iš prekybos praturtėjusių šeimų pasididžiavimas paskatino pastatyti 72 bokštus (tačiau pagal įstatymą nė vienas iš jų negalėjo viršyti savivaldybės bokšto, vadinamo Rognosa, aukščio).Kamuojamas nuolatinių vidinių kovų tarp gvelfų ir ghibelinų (1300 m. pavasarį Dantė Aligjeris čia apsistojo kaip Toskanos gvelfų lygos ambasadorius) ir nuolat konfliktuodamas su netoliese esančia Volterra, 1343 m. jis buvo pavergtas Atėnų kunigaikščio, o 1353 m. įžūliai pasidavė Florencijai, vėliau iki 1860 m. sekė Toskanos Didžiosios Kunigaikštystės likimą.San Džiminjano miesto struktūra ir daugybė civilinių bei religinių pastatų, kurie išliko beveik nepakitę, išsaugojo viduramžių fizionomiją;
Top of the World