É a mais antiga das três fortalezas de Porto Ercole (as outras duas são Forte Filippo e Forte Stella), cujas origens remontam à época medieval, à família Aldobrandeschi, embora na altura fosse uma coisa mesquinha em comparação com o tamanho e complexidade que atingiu ao longo do tempo. As ampliações e a transformação numa verdadeira fortaleza começaram efectivamente no século XV com a chegada dos Sieneses; o aspecto actual, de uma verdadeira cidadela fortificada, porém, deve-se aos Espanhóis, que a tomaram posse a partir do século XVI. A complexidade e vastidão da construção só pode ser percebida à distância, particularmente de Fort Philip e Fort Stella, com os quais formou um sistema único de avistamento e defesa/ofensiva. Hoje o complexo é quase inteiramente privado (quartos que em tempos tiveram fins militares e, por um tempo a partir de finais do século XIX, também utilizados como prisão, foram convertidos em habitação) e o acesso ao interior não é livre; pode ser visitado em determinados momentos com uma licença municipal, obtida através do posto de turismo. O castelo pode ser alcançado por um desvio à esquerda da estrada Panorâmica que circunavega o Monte Argentario, pouco depois de sair, também à esquerda, da entrada para o antigo centro de Porto Ercole (Porta Senese). Claro que, uma vez lá chegado, se não se conseguir entrar no interior, há muito pouco para ver.
