Porto Ercole három erődítménye közül ez a legrégebbi (a másik kettő a Forte Filippo és a Forte Stella), amelynek eredete a középkorig, az Aldobrandeschi családig nyúlik vissza, bár akkoriban még jelentéktelen volt ahhoz képest, hogy az idők során mekkora és összetett lett. A bővítések és a valódi erőddé való átalakítás valójában a 15. században kezdődött a sienaiak érkezésével; a jelenlegi megjelenés, egy valódi erődített fellegvár, azonban a spanyoloknak köszönhető, akik a 16. századtól vették birtokba. Az építmény összetettségét és kiterjedését csak távolról lehet érzékelni, különösen a Fülöp- és a Stella-erődből, amelyekkel együtt egyetlen szemlélődési és védelmi/támadási rendszert alkotott. Ma a komplexum szinte teljesen magántulajdonban van (az egykor katonai célokat szolgáló, és az 1800-as évek végétől egy ideig börtönként is használt helyiségeket lakásokká alakították át), és a belsejébe való belépés nem ingyenes; bizonyos időpontokban az idegenforgalmi hivatalon keresztül beszerezhető önkormányzati engedéllyel látogatható. A kastélyt az Argentario hegyet megkerülő Panoráma útról balra letérve érhetjük el, nem sokkal azután, hogy ugyancsak balra elhagyjuk Porto Ercole ősi központjának (Porta Senese) bejáratát. Persze ha egyszer odaérünk, ha nem tudunk bemenni a belsejébe, akkor nagyon kevés a látnivaló.
