Забудована територія Порто-Санто-Стефано розвивається вздовж двох гаваней. Комерційна гавань, більша за розмірами, є першою, до якої ви потрапляєте при в'їзді в місто; тут швартуються рибальські судна і причалюють пороми до островів Джильйо та Джаннутрі. З іншого боку, невеликий порт Піларелла - це місце для прогулянок і відпочинку в Порто-Санто-Стефано. Сюди можна потрапити, пройшовшись набережною, спроектованою Джорджетто Джуджаро. Тут столики барів і невеликих ресторанів виходять на море і дозволяють скуштувати страви місцевої кухні в повному розслабленні, милуючись панорамою цього чарівного приморського селища. Завдяки своєму чудовому географічному розташуванню, його, безумовно, вже відвідували стародавні народи, які плавали Середземним морем. Однак лише римляни залишили відчутні сліди своєї далекої присутності, зокрема, імператорську віллу Доміці Енобарбі 1 століття до нашої ери. Римляни позначали порт Сан-Стефано на своїх картах під різними назвами, такими як Portus Traianus, Portus ad Cetarias або Portus Incitaria. За часів сиєнського панування з початку 15 століття до середини 16 століття Порто-Стефано був лише другорядним портом і зазнавав частих піратських набігів. До цього періоду відноситься будівництво вежі Аржентьєра (ймовірно, у 1442 році) та деяких прибережних веж. Розвиток центру розпочався лише близько 1550 року під час правління іспанського губернатора Нуньєса Орехона де Авіла і тривав паралельно зі створенням держави Президіуму та будівництвом іспанської фортеці (початок 17 століття) для контролю над портом. 9 травня 1646 року порт Сан-Стефано захопили французи, а в липні того ж року він повернувся під владу Іспанії. 1707 року разом з усією державою Презіді його захопили австрійці, 1737 року він належав Бурбонам, і в цей період тут відбулося перше демографічне піднесення, пов'язане з переселенням багатьох сімей з Неаполя, острова Ельба та Лігурії. У 1801 році місто приєдналося до Королівства Етрурії, а в 1815 році, згідно з Віденським договором, було приєднано до Великого герцогства Тоскана. У 1842 році великий герцог Леопольд II заснував громаду Монте-Арджентаріо, де Порто-Санто-Стефано представляв столицю, а Порто-Ерколе - село. Зрештою, у 1860 році, разом з усією Тосканою, вона приєдналася до Королівства Італія. Іспанська фортеця є найцікавішою спорудою в місті; вона була побудована за часів віце-королівства дона Парафана де Рібери і, зважаючи на обмежений простір, відведений під житло, скоріш за все, мала більше оглядову функцію, ніж оборонну.Крім вищезгаданої вежі Торре дель Арджентієра, є ще кілька прибережних веж, віддалених від моря, розташованих на однойменному пагорбі, висотою 25 метрів, квадратної форми, без вхідних дверей, а лише з одним отвором посередині стіни. До кінця Другої світової війни основними джерелами економіки Санто-Стефано були сільське господарство, рибальство та судноплавство. Однак з 1960-х років значно розвинувся туристичний сектор, який став головним ресурсом в економіці міста.
