Es la más antigua de las tres fortalezas de Porto Ercole (las otras dos son Forte Filippo y Forte Stella), cuyos orígenes se remontan a la época medieval, a la familia Aldobrandeschi, aunque en su momento era algo insignificante comparado con el tamaño y la complejidad que alcanzó con el tiempo. Las ampliaciones y la transformación en una verdadera fortaleza comenzaron en realidad en el siglo XV con la llegada de los sieneses; el aspecto actual, de verdadera ciudadela fortificada, se debe sin embargo a los españoles, que tomaron posesión de ella a partir del siglo XVI. La complejidad y la inmensidad de la construcción sólo pueden percibirse desde la distancia, sobre todo desde el Fuerte Felipe y el Fuerte Stella, con los que formaba un único sistema de avistamiento y defensa/ofensa. En la actualidad, el complejo es casi enteramente privado (las habitaciones que en su día tuvieron fines militares y, durante un tiempo a partir de finales del siglo XIX, también se utilizaron como prisión, se han convertido en viviendas) y el acceso al interior no es libre; se puede visitar en determinados momentos con un permiso municipal que se puede obtener a través de la oficina de turismo. Al castillo se llega por un desvío a la izquierda desde la carretera panorámica que circunvala el monte Argentario, poco después de dejar, también a la izquierda, la entrada al antiguo centro de Porto Ercole (Porta Senese). Por supuesto, una vez allí, si no se puede entrar en el interior hay muy poco que ver.