È la più antica delle tre fortezze di Porto Ercole (le altre due sono Forte Filippo e Forte Stella), le cui origini risalgono all'età medievale, alla famiglia Aldobrandeschi, anche se all'epoca era una misera cosa rispetto alle dimensioni e alla complessità che ha raggiunto nel tempo. Gli ampliamenti e la trasformazione in vera e propria fortezza iniziarono in realtà nel XV secolo con l'arrivo dei senesi; l'aspetto attuale, di vera e propria cittadella fortificata, si deve invece agli spagnoli, che ne presero possesso a partire dal XVI secolo. La complessità e la vastità della costruzione sono percepibili solo da lontano, in particolare dal Forte Filippo e dal Forte Stella, insieme ai quali formava un unico sistema di avvistamento e di difesa/offesa. Oggi il complesso è quasi interamente privato (gli ambienti che un tempo avevano finalità militari e, per un periodo a partire dalla fine dell'Ottocento, anche carcerarie, sono stati riconvertiti in abitazioni) e l'accesso all'interno non è libero; è visitabile in determinati orari con un permesso comunale ottenibile tramite l'ufficio turistico. Il castello si raggiunge con una deviazione a sinistra dalla strada panoramica che circumnaviga il Monte Argentario, poco dopo aver lasciato, sempre sulla sinistra, l'ingresso al centro antico di Porto Ercole (Porta Senese). Naturalmente, una volta arrivati, se non si può entrare all'interno c'è ben poco da vedere.
