Porto Santo Stefanos bebyggede område ligger langs to havne. Handelshavnen, den største, er den første, man kommer til, når man kommer ind i byen; her lægger fiskerbåde til, og færgerne til øerne Giglio og Giannutri lægger til. Den lille havn Pilarella er derimod stedet, hvor man kan slentre og slappe af i Porto Santo Stefano. Du kommer dertil ved at gå langs promenaden, der er designet af Giorgetto Giugiaro. Her har bordene i barerne og de små restauranter udsigt over havet og giver dig mulighed for at smage det lokale køkken i total afslapning, mens du beundrer panoramaet over denne fortryllende kystby. På grund af sin fremragende geografiske beliggenhed var den helt sikkert allerede besøgt af gamle folk, der sejlede på Middelhavet. Kun romerne har dog efterladt håndgribelige spor af deres fjerne tilstedeværelse, herunder den kejserlige villa Domizi Enobarbi fra det 1. århundrede f.Kr. Romerne omtalte Porto S. Stefano på deres kort med forskellige navne, f.eks. Portus Traianus, Portus ad Cetarias eller Portus Incitaria. Under sienesisk herredømme fra begyndelsen af det 15. århundrede til midten af det 16. århundrede var Porto S. Stefano kun en ubetydelig anløbshavn, som ofte blev udsat for piratangreb. Opførelsen af Argentiera-tårnet (sandsynligvis i 1442) og nogle kysttårne stammer fra denne periode. Udviklingen af centrum begyndte først omkring 1550 under den spanske guvernør Nunez Orejon de Avila og fortsatte i takt med oprettelsen af den præsidianske stat og opførelsen af den spanske fæstning (i begyndelsen af det 17. århundrede) for at kontrollere havnen. Den 9. maj 1646 blev Porto S. Stefano erobret af franskmændene, hvorefter den i juli samme år kom tilbage under spansk styre. I 1707 blev den sammen med hele Stato dei Presidi erobret af østrigerne, i 1737 tilhørte den bourbonerne, og i denne periode skete den første demografiske udvikling som følge af bosættelsen af mange familier fra Napoli, øen Elba og Ligurien. I 1801 blev det tilsluttet Kongeriget Etrurien, og i 1815 blev det med Wien-traktaten tildelt storhertugdømmet Toscana. I 1842 oprettede storhertug Leopold II samfundet Monte Argentario, hvor Porto Santo Stefano repræsenterede hovedstaden og Porto Ercole landsbyen. Endelig sluttede det sig i 1860 sammen med hele Toscana til Kongeriget Italien sammen med hele Toscana. Den spanske fæstning er den mest interessante bygning i byen; den blev bygget under Don Parafan de Ribera's vicekongedømme og havde, i betragtning af den begrænsede plads, der var afsat til beboelse, sandsynligvis mere en visionsfunktion end en defensiv funktion.Der findes også flere kysttårne ud over det førnævnte Torre dell'Argentiera, der ligger langt fra havet på bakken af samme navn; det er 25 meter højt, har en kvadratisk plan og har ingen indgangsdøre, men kun en åbning midt på muren. Indtil slutningen af Anden Verdenskrig var de vigtigste kilder til Santo Stefanos økonomi landbrug, fiskeri og skibsfart. Siden 1960'erne har turistsektoren imidlertid udviklet sig betydeligt og er blevet den vigtigste ressource i byens økonomi.