Porto Santo Stefano beépített területe két kikötő mentén terül el. A nagyobbik, kereskedelmi kikötő az első, amelybe a városba érve belépünk; itt horgonyoznak a halászhajók, és itt kötnek ki a Giglio és Giannutri szigetekre közlekedő kompok. A Pilarella kis kikötője viszont a sétálgatás és a pihenés helyszíne Porto Santo Stefanóban. Oda a Giorgetto Giugiaro által tervezett sétányon sétálva juthat el. Itt a bárok és kis éttermek asztalai a tengerre néznek, és lehetővé teszik, hogy teljes nyugalomban kóstolja meg a helyi konyhát, miközben megcsodálja ennek a varázslatos tengerparti falunak a panorámáját. Kiváló földrajzi fekvésének köszönhetően minden bizonnyal már az ókori népek is gyakran megfordultak itt, akik a Földközi-tengeren hajózva jártak. Távoli jelenlétükről azonban csak a rómaiak hagytak kézzelfogható nyomokat, köztük a Domizi Enobarbi császári villát a Kr. e. 1. századból. A rómaiak Porto S. Stefanót különböző neveken említették térképeiken, mint például Portus Traianus, Portus ad Cetarias vagy Portus Incitaria. A 15. század elejétől a 16. század közepéig tartó szienai uralom alatt Porto S. Stefano csak egy jelentéktelen kikötő volt, és gyakori kalóztámadásoknak volt kitéve. Ebből az időszakból származik az Argentiera-torony (valószínűleg 1442-ben) és néhány parti torony építése. A központ fejlődése csak 1550 körül, Nunez Orejon de Avila spanyol kormányzó idején kezdődött, és párhuzamosan folytatódott a Presidi állam létrehozásával és a kikötő ellenőrzésére szolgáló spanyol erőd építésével (17. század eleje). 1646. május 9-én Porto S. Stefanót elfoglalták a franciák, majd ugyanezen év júliusában visszatért spanyol fennhatóság alá. 1707-ben az egész Stato dei Presidivel együtt az osztrákok hódították meg, 1737-ben a Bourbonokhoz tartozott, és ebben az időszakban következett be az első demográfiai fejlődés, amely a Nápolyból, Elba szigetéről és Liguriából érkező számos család letelepedésének eredménye. 1801-ben az Etruriai Királysághoz csatlakozott, majd 1815-ben a bécsi békeszerződéssel a Toszkánai Nagyhercegséghez került. 1842-ben II. Leopold nagyherceg megalapította Monte Argentario községet, ahol Porto Santo Stefano képviselte a fővárost, Porto Ercole pedig a falucskát. Végül 1860-ban egész Toszkánával együtt az Olasz Királysághoz csatlakozott. A spanyol erőd a város legérdekesebb épülete; Don Parafan de Ribera alkirálykodása idején épült, és mivel a szálláshelyeknek szánt hely korlátozott, valószínűleg inkább kilátó, mint védelmi funkciót töltött be.A már említett Torre dell'Argentiera mellett több tengerparti torony is található, a tengertől távol, az azonos nevű dombon helyezkedik el, 25 méter magas, négyzet alaprajzú, és nincsenek bejárati ajtói, csak egy nyílás van a fal közepén. A második világháború végéig Santo Stefano gazdaságának fő forrása a mezőgazdaság, a halászat és a hajózás volt. Az 1960-as évektől kezdve azonban az idegenforgalom jelentősen fejlődött, és a város gazdaságának fő forrásává vált.
