Det er den ældste af Porto Ercole's tre fæstninger (de to andre er Forte Filippo og Forte Stella), hvis oprindelse går tilbage til middelalderen, til Aldobrandeschi-familien, selv om den dengang var en lille ting sammenlignet med den størrelse og kompleksitet, som den med tiden fik. Udvidelserne og omdannelsen til en egentlig fæstning begyndte faktisk i det 15. århundrede med sienesernes ankomst; det nuværende udseende, som et rigtigt befæstet citadel, skyldes dog spanierne, som overtog det fra det 16. århundrede. Bygningens kompleksitet og omfang kan kun opfattes på afstand, især fra Fort Philip og Fort Stella, som sammen med disse udgjorde et enkelt system til observation og forsvar/angreb. I dag er komplekset næsten udelukkende privat (de rum, der engang havde militære formål og i en periode fra slutningen af 1800-tallet også blev brugt som fængsel, er blevet omdannet til boliger), og adgangen til det indre er ikke gratis; det kan besøges på visse tidspunkter med en kommunal tilladelse, der kan fås via turistkontoret. Man kan komme til slottet ved at tage en afstikker til venstre fra Panoramastræde, der går rundt om Monte Argentario, kort efter at man, ligeledes til venstre, har forladt indgangen til Porto Ercole's gamle centrum (Porta Senese). Når man først er der, er der naturligvis ikke meget at se, hvis man ikke kan komme ind i det indre.
