Jest to najstarsza z trzech fortec Porto Ercole (pozostałe dwie to Forte Filippo i Forte Stella), której początki sięgają czasów średniowiecza, rodziny Aldobrandeschi, choć w tamtych czasach była to skromna rzecz w porównaniu z wielkością i złożonością, jaką osiągnęła z czasem. Rozbudowa i przekształcenie w prawdziwą fortecę rozpoczęły się właściwie w XV wieku wraz z przybyciem Sieneńczyków; obecny wygląd, prawdziwej ufortyfikowanej cytadeli, zawdzięcza jednak Hiszpanom, którzy objęli ją w posiadanie od XVI wieku. Złożoność i ogrom konstrukcji można dostrzec dopiero z daleka, zwłaszcza z Fortu Filipa i Fortu Stella, wraz z którymi tworzył jeden system obserwacji i obrony/obrony. Dziś kompleks jest niemal całkowicie prywatny (pomieszczenia, które niegdyś pełniły funkcje wojskowe, a od końca XIX wieku także więzienne, zostały przekształcone w mieszkania), a dostęp do wnętrz nie jest swobodny; można je zwiedzać w określonych godzinach za zezwoleniem miejskim, które można uzyskać w biurze turystycznym. Do zamku można dotrzeć objazdem w lewo od drogi panoramicznej, która okrąża górę Argentario, krótko po opuszczeniu, również po lewej stronie, wejścia do starożytnego centrum Porto Ercole (Porta Senese). Oczywiście po dotarciu tam, jeśli nie można wejść do wnętrza jest bardzo mało do zobaczenia.
