La zona edificada de Porto Santo Stefano se desarrolla a lo largo de dos puertos. El puerto comercial, el más grande, es el primero que se encuentra al entrar en la ciudad; en él atracan los barcos de pesca y los transbordadores a las islas de Giglio y Giannutri. El pequeño puerto de la Pilarella, en cambio, es el lugar para pasear y relajarse en Porto Santo Stefano. Se llega a él caminando por el paseo marítimo diseñado por Giorgetto Giugiaro. Aquí, las mesas de los bares y pequeños restaurantes dan al mar y permiten degustar la cocina local con total tranquilidad mientras se admira el panorama de este encantador pueblo costero. Debido a su excelente posición geográfica, seguramente ya era frecuentada por los antiguos pueblos que navegaban por el Mediterráneo. Sin embargo, sólo los romanos han dejado huellas tangibles de su remota presencia, como la villa imperial de los Domizi Enobarbi, del siglo I a.C. Los romanos se referían a Porto S. Stefano en sus mapas con varios nombres, como Portus Traianus, Portus ad Cetarias o Portus Incitaria. Bajo la dominación sienesa desde principios del siglo XV hasta mediados del siglo XVI, Porto S. Stefano no era más que un puerto de escala sin importancia y sujeto a frecuentes incursiones piratas. De esta época data la construcción de la Torre de la Argentiera (probablemente en 1442) y algunas torres costeras. El desarrollo del centro no comenzó hasta alrededor de 1550, con el gobernador español Núñez Orejón de Ávila, y continuó paralelamente con la creación del Estado de los Presidios y la construcción de la fortaleza española (principios del siglo XVII) para controlar el puerto. El 9 de mayo de 1646, Porto S. Stefano fue conquistado por los franceses y volvió a estar bajo dominio español en julio del mismo año. En 1707, junto con todo el Stato dei Presidi, fue conquistado por los austriacos, en 1737 pasó a pertenecer a los Borbones, y en este periodo se produjo el primer desarrollo demográfico resultante del asentamiento de muchas familias procedentes de Nápoles, la isla de Elba y Liguria. En 1801, se unió al Reino de Etruria y en 1815, con el Tratado de Viena, fue asignada al Gran Ducado de Toscana. En 1842, el Gran Duque Leopoldo II estableció la comunidad de Monte Argentario, donde Porto Santo Stefano representaba la capital y Porto Ercole el caserío. Finalmente, en 1860, junto con toda la Toscana, se unió al Reino de Italia. La fortaleza española es el edificio más interesante de la ciudad; fue construida durante el virreinato de Don Parafán de Ribera y, dado el escaso espacio dedicado al alojamiento, muy probablemente tenía más una función de avistamiento que de defensa.
También hay varias torres costeras además de la ya mencionada Torre de la Argentiera, alejada del mar y situada en el cerro del mismo nombre, tiene 25 metros de altura, es de planta cuadrada y no hay puertas de entrada sino una única abertura en medio de la muralla. Hasta el final de la Segunda Guerra Mundial, las principales fuentes de la economía de Santo Stefano eran la agricultura, la pesca y la navegación. Sin embargo, desde los años 60, el sector turístico se ha desarrollado considerablemente, convirtiéndose en el principal recurso de la economía de la ciudad.
