De bebouwde kom van Porto Santo Stefano ontwikkelt zich langs twee havens. De commerciële haven, de grootste, is de eerste die je tegenkomt als je de stad binnenkomt; vissersboten leggen er aan en veerboten naar de eilanden Giglio en Giannutri meren er aan. De kleine haven van de Pilarella, daarentegen, is de plek om te wandelen en te ontspannen in Porto Santo Stefano. U komt er door over de door Giorgetto Giugiaro ontworpen promenade te wandelen. Hier kijken de tafels van de bars en kleine restaurants uit over de zee en kunt u in alle rust de plaatselijke keuken proeven terwijl u het panorama van dit betoverende kustplaatsje bewondert. Door zijn uitstekende geografische ligging werd het zeker al bezocht door oude volkeren die de Middellandse Zee bevoeren. Alleen de Romeinen hebben echter tastbare sporen achtergelaten van hun verre aanwezigheid, waaronder de keizerlijke villa van de Domizi Enobarbi uit de 1e eeuw voor Christus. De Romeinen noemden Porto S. Stefano op hun kaarten onder verschillende namen, zoals Portus Traianus, Portus ad Cetarias of Portus Incitaria. Onder de Sienese overheersing van het begin van de 15e eeuw tot het midden van de 16e eeuw was Porto S. Stefano slechts een onbelangrijke aanloophaven en onderhevig aan frequente piratenaanvallen. De bouw van de Argentiera toren (waarschijnlijk in 1442) en enkele kusttorens dateren uit deze periode. De ontwikkeling van het centrum begon pas rond 1550 onder de Spaanse gouverneur Nunez Orejon de Avila, en ging gelijk op met de oprichting van de staat Presidi en de bouw van het Spaanse fort (begin 17e eeuw) om de haven te controleren. Op 9 mei 1646 werd Porto S. Stefano veroverd door de Fransen en in juli van datzelfde jaar kwam het weer onder Spaans bestuur. In 1707 werd het, samen met het hele Stato dei Presidi, veroverd door de Oostenrijkers, in 1737 behoorde het tot de Bourbons, en in deze periode was er de eerste demografische ontwikkeling door de vestiging van vele families uit Napels, het eiland Elba en Ligurië. In 1801 sloot het zich aan bij het Koninkrijk Etrurië en in 1815 werd het bij het Verdrag van Wenen toegewezen aan het Groothertogdom Toscane. In 1842 stichtte Groothertog Leopold II de gemeente Monte Argentario, met Porto Santo Stefano als hoofdstad en Porto Ercole als gehucht. Uiteindelijk werd het in 1860, samen met heel Toscane, bij het Koninkrijk Italië gevoegd. Het Spaanse fort is het meest interessante gebouw van de stad; het werd gebouwd tijdens het vicariaat van Don Parafan de Ribera en had, gezien de beperkte ruimte voor accommodatie, hoogstwaarschijnlijk meer een zichtfunctie dan een defensieve functie.Er zijn ook verschillende kusttorens naast de eerder genoemde Torre dell'Argentiera, ver van de zee gelegen op de gelijknamige heuvel, deze is 25 meter hoog, heeft een vierkante plattegrond en er zijn geen toegangsdeuren maar slechts een opening in het midden van de muur. Tot het einde van de Tweede Wereldoorlog waren landbouw, visserij en scheepvaart de belangrijkste bronnen van de economie van Santo Stefano. Sinds de jaren zestig heeft de toeristische sector zich echter sterk ontwikkeld en is het de belangrijkste bron van de economie van de stad geworden.