Porto Ercole'nin üç kalesinden en eskisidir (diğer ikisi Forte Filippo ve Forte Stella'dır) ve kökenleri Ortaçağ'a, Aldobrandeschi ailesine kadar uzanmaktadır, ancak o zamanlar zaman içinde ulaştığı boyut ve karmaşıklıkla karşılaştırıldığında önemsiz bir şeydi. Genişlemeler ve gerçek bir kaleye dönüşmesi aslında 15. yüzyılda Sienalıların gelişiyle başlamıştır; ancak gerçek bir müstahkem kalenin bugünkü görünümü, 16. yüzyıldan itibaren burayı ele geçiren İspanyollar sayesinde olmuştur. Yapının karmaşıklığı ve genişliği ancak uzaktan, özellikle de birlikte tek bir gözetleme ve savunma/saldırı sistemi oluşturduğu Philip Kalesi ve Stella Kalesi'nden algılanabilir. Bugün kompleks neredeyse tamamen özeldir (bir zamanlar askeri amaçlara sahip olan ve 1800'lerin sonlarından itibaren bir süre hapishane olarak da kullanılan odalar konuta dönüştürülmüştür) ve iç mekana erişim ücretsiz değildir; turizm ofisinden alınabilecek bir belediye izniyle belirli zamanlarda ziyaret edilebilir. Kaleye, Argentario Dağı'nın etrafını dolaşan Panoramik yoldan sola saparak, Porto Ercole'nin antik merkezinin (Porta Senese) girişini de solda bıraktıktan kısa bir süre sonra ulaşılabilir. Tabii ki oraya vardığınızda, eğer içeriye giremezseniz görecek çok az şey vardır.
