A área edificada de Porto Santo Stefano desenvolve-se ao longo de dois portos. O porto comercial, o maior, é o primeiro a que se chega ao entrar na cidade; barcos de pesca atracam lá e ferries para as ilhas de Giglio e o cais de Giannutri. O pequeno porto da Pilarella, por outro lado, é o local para passear e relaxar em Porto Santo Stefano. Chega-se lá caminhando ao longo do passeio concebido por Giorgetto Giugiaro. Aqui, as mesas dos bares e pequenos restaurantes têm vista para o mar e permitem provar a cozinha local em total descontracção enquanto se admira o panorama desta encantadora aldeia à beira-mar. Devido à sua excelente posição geográfica, era certamente já frequentada por povos antigos que navegavam no Mediterrâneo. Só os romanos, no entanto, deixaram vestígios tangíveis da sua presença remota, incluindo a vila imperial do Domizi Enobarbi do século I a.C. Os Romanos referiam-se a Porto S. Stefano nos seus mapas com vários nomes, tais como Portus Traianus, Portus ad Cetarias ou Portus Incitaria. Sob domínio Sienês desde o início do século XV até meados do século XVI, Porto S. Stefano foi apenas um porto de escala sem importância e sujeito a frequentes ataques piratas. A construção da Torre Argentiera (provavelmente em 1442) e algumas torres costeiras remontam a este período. O desenvolvimento do centro só começou por volta de 1550, sob a direcção do governador espanhol Nunez Orejon de Ávila, e continuou em paralelo com a criação do Estado Presidi e a construção da fortaleza espanhola (início do século XVII) para controlar o porto. A 9 de Maio de 1646, Porto S. Stefano foi conquistado pelos franceses e regressou sob domínio espanhol em Julho do mesmo ano. Em 1707, juntamente com todo o Stato dei Presidi, foi conquistado pelos austríacos, em 1737 pertenceu aos Bourbons, e neste período houve o primeiro desenvolvimento demográfico resultante do assentamento de muitas famílias de Nápoles, da ilha de Elba e da Ligúria. Em 1801, juntou-se ao Reino da Etrúria e em 1815, com o Tratado de Viena, foi atribuída ao Grão-Ducado da Toscana. Em 1842, o Grão-Duque Leopoldo II estabeleceu a comunidade do Monte Argentario, onde Porto Santo Stefano representava a capital e Porto Ercole a aldeia. Finalmente, em 1860, juntamente com toda a Toscana, juntou-se ao Reino de Itália. A fortaleza espanhola é o edifício mais interessante da cidade; foi construída durante o vice-reinado de Don Parafan de Ribera e, dado o espaço limitado dedicado ao alojamento, muito provavelmente teve mais uma função de avistamento do que defensiva.Existem também várias torres costeiras para além da já mencionada Torre dell'Argentiera, longe do mar situado na colina do mesmo nome, tem 25 metros de altura, tem uma planta quadrada e não há nenhuma porta de entrada, mas apenas uma abertura no meio do muro. Até ao final da Segunda Guerra Mundial, as principais fontes da economia de Santo Stefano foram a agricultura, a pesca e a navegação. Desde os anos 60, porém, o sector do turismo desenvolveu-se consideravelmente, tornando-se o principal recurso na economia da cidade.