Застроената част на Порто Санто Стефано се развива покрай две пристанища. Търговското пристанище, по-голямото, е първото, до което се стига при влизане в града; там акостират рибарски лодки и акостират фериботи до островите Джилио и Джанутри. От друга страна, малкото пристанище Пиларела е мястото за разходка и почивка в Порто Санто Стефано. До него се стига, като се върви по крайбрежната алея, проектирана от Джорджето Джуджаро. Тук масите на баровете и малките ресторанти са с изглед към морето и ви позволяват да опитате местната кухня в пълна релаксация, докато се любувате на панорамата на това очарователно морско селце. Благодарение на отличното си географско положение то със сигурност е било посещавано още от древните народи, които са плавали по Средиземноморието. Единствено римляните обаче са оставили осезаеми следи от далечното си присъствие, включително императорската вила Domizi Enobarbi от I в. пр. н. е. Римляните споменават Порто С. Стефано в своите карти с различни имена, като например Portus Traianus, Portus ad Cetarias или Portus Incitaria. По време на сиенското господство от началото на XV в. до средата на XVI в. Порто С. Стефано е само незначително пристанище и е обект на чести пиратски набези. От този период датира построяването на кулата Арджентиера (вероятно през 1442 г.) и някои крайбрежни кули. Развитието на центъра започва едва около 1550 г. по времето на испанския губернатор Нунес Орейон де Авила и продължава успоредно със създаването на държавата Президи и изграждането на испанска крепост (началото на XVII в.) за контрол на пристанището. На 9 май 1646 г. Порто С. Стефано е завладян от французите, а след това се връща под испанско управление през юли същата година. През 1707 г. заедно с цялата държава Президи е завладян от австрийците, през 1737 г. принадлежи на Бурбоните и в този период се наблюдава първото демографско развитие в резултат на заселването на много семейства от Неапол, остров Елба и Лигурия. През 1801 г. се присъединява към Кралство Етрурия, а през 1815 г. с Виенския договор е присъединен към Великото херцогство Тоскана. През 1842 г. великият херцог Леополд II създава общността Монте Арджентарио, където Порто Санто Стефано представлява столицата, а Порто Ерколе - селището. Накрая, през 1860 г., заедно с цяла Тоскана, тя се присъединява към Кралство Италия. Испанската крепост е най-интересната сграда в града; тя е построена по време на вицекралството на дон Парафан де Рибера и предвид ограниченото пространство, отделено за настаняване, най-вероятно е имала по-скоро наблюдателна, отколкото отбранителна функция.Има и няколко крайбрежни кули в допълнение към гореспоменатата Torre dell'Argentiera, далеч от морето, разположена на едноименния хълм, тя е висока 25 метра, има квадратен план и няма входни врати, а само един отвор в средата на стената. До края на Втората световна война основните източници на икономиката на Санто Стефано са селското стопанство, риболовът и корабоплаването. От 60-те години на ХХ в. обаче туристическият сектор се развива значително, превръщайки се в основен ресурс в икономиката на града.
