Il s'agit de la plus ancienne des trois forteresses de Porto Ercole (les deux autres étant Forte Filippo et Forte Stella), dont les origines remontent à l'époque médiévale, à la famille Aldobrandeschi, bien qu'à l'époque il s'agissait d'une chose dérisoire par rapport à la taille et à la complexité qu'il a atteint au fil du temps. Les agrandissements et la transformation en une véritable forteresse ont en fait commencé au XVe siècle avec l'arrivée des Siennois ; l'aspect actuel, d'une véritable citadelle fortifiée, est toutefois dû aux Espagnols, qui en ont pris possession à partir du XVIe siècle. La complexité et l'immensité de la construction ne peuvent être perçues que de loin, notamment depuis le fort Philippe et le fort Stella, avec lesquels elle formait un seul système de visée et de défense/offensive. Aujourd'hui, le complexe est presque entièrement privé (les salles qui avaient autrefois une fonction militaire et qui, pendant un certain temps à partir de la fin des années 1800, ont également servi de prison, ont été converties en logements) et l'accès à l'intérieur n'est pas libre ; il peut être visité à certaines heures avec un permis municipal que l'on peut obtenir auprès de l'office du tourisme. On peut atteindre le château en faisant un détour à gauche de la route panoramique qui contourne le Mont Argentario, peu après avoir laissé, également à gauche, l'entrée de l'ancien centre de Porto Ercole (Porta Senese). Bien sûr, une fois que vous y êtes, si vous ne pouvez pas entrer à l'intérieur, il y a très peu à voir.