An caisleán ina sheasamh ar chnoc Vomero ag ardú os cionn Napoli, as a bhfuil radharc álainn ar an gcathair agus ar an bolcán Vesuvius. Is daingne meánaoiseach é a tógadh sa 13ú haois chun an chathair a chosaint ar ionsaithe ón iarthar.Baineann na chéad tagairtí faisnéise do Castel Sant’Elmo leis an dara leath den 13ú haois. Choimisiúnaigh Roberto ó Anjou an t-ailtire agus dealbhóir Tino di Camaino, a bhí gnóthach ag an am sin ag obair ar an Certosa di San Martino, chun tosú ar obair sínte i 1329. Idir 1537 agus 1547, le linn réimeas Séarlas V, Impire Naofa Rómhánach, chuir an leas-Don Pedro de Toledo tús leis an obair atógála as a dtáinig an leagan amach heicseagánach reatha i gcruth réalta. Nuair a scrios pléascadh cuid mhór de na foirgnimh i Piazza d’Armi i 1587, cuireadh an tionscadal atógála faoi chúram an ailtire Domenico Fontana.Bhí an caisleán ina phríomhcharachtar ag Réabhlóid 1799 freisin nuair a ghlac grúpa intleachteach, spreagtha ag idéalacha Réabhlóid na Fraince, greim ar an dúnfort ag fógairt na Poblachta Neapolitan.Ina stair bhí sé freisin mar phríosún, agus faoi láthair tá sé dúnta do thurasóirí, ach amháin i gcás imeachtaí lasmuigh agus taispeántais tréimhsiúla a eagraítear ann.
