Zastavěná oblast Porto Santo Stefano se rozkládá podél dvou přístavů. Obchodní přístav, ten větší, je první, do kterého se dostanete při vjezdu do města; kotví v něm rybářské lodě a přistávají trajekty na ostrovy Giglio a Giannutri. Malý přístav Pilarella je naopak místem pro procházky a odpočinek v Porto Santo Stefano. Dostanete se sem procházkou po promenádě navržené Giorgettem Giugiarem. Stoly barů a malých restaurací s výhledem na moře vám zde umožní ochutnat místní kuchyni v naprosté pohodě a zároveň obdivovat panorama této okouzlující přímořské vesnice. Díky své vynikající zeměpisné poloze ji jistě navštěvovaly již starověké národy, které se plavili po Středozemním moři. Hmatatelné stopy své vzdálené přítomnosti zde však zanechali pouze Římané, včetně císařské vily Domizi Enobarbi z 1. stol. př. n. l.. Římané označovali Porto S. Stefano na svých mapách různými názvy, například Portus Traianus, Portus ad Cetarias nebo Portus Incitaria. Pod sienskou nadvládou od počátku 15. století do poloviny 16. století bylo Porto S. Stefano pouze nevýznamným přístavem a bylo předmětem častých pirátských nájezdů. Z tohoto období pochází stavba věže Argentiera (pravděpodobně v roce 1442) a některých pobřežních věží. Rozvoj centra začal až kolem roku 1550 za španělského guvernéra Nuneze Orejona de Avila a pokračoval současně se vznikem státu Presidi a výstavbou španělské pevnosti (počátek 17. století), která měla přístav kontrolovat. Dne 9. května 1646 bylo Porto S. Stefano dobyto Francouzi a poté se v červenci téhož roku vrátilo pod španělskou nadvládu. V roce 1707 bylo spolu s celým Stato dei Presidi dobyto Rakušany, v roce 1737 připadlo Bourbonům a v tomto období došlo k prvnímu demografickému vývoji v důsledku usazení mnoha rodin z Neapole, ostrova Elba a Ligurie. V roce 1801 se připojilo k Etrurijskému království a v roce 1815 bylo Vídeňskou smlouvou přiřazeno k Toskánskému velkovévodství. V roce 1842 založil velkovévoda Leopold II. obec Monte Argentario, kde Porto Santo Stefano představovalo hlavní město a Porto Ercole vesnici. Nakonec se v roce 1860 spolu s celým Toskánskem připojilo k Italskému království. Nejzajímavější stavbou města je španělská pevnost, která byla postavena za místodržitelství dona Parafana de Ribera a vzhledem k omezenému prostoru určenému k ubytování měla pravděpodobně spíše funkci pozorovací než obrannou.Kromě výše zmíněné Torre dell'Argentiera se na stejnojmenném kopci daleko od moře nachází také několik pobřežních věží, které jsou 25 metrů vysoké, mají čtvercový půdorys a nemají vstupní dveře, ale pouze jeden otvor uprostřed zdi. Až do konce druhé světové války byly hlavními zdroji hospodářství Santo Stefana zemědělství, rybolov a lodní doprava. Od 60. let 20. století se však výrazně rozvíjí cestovní ruch, který se stal hlavním zdrojem ekonomiky města.
