Hrad stojaci na kopci Vomero, ktorý sa týči nad Neapolom a z ktorého je krásny výhľad na mesto a sopku Vezuv. Je to stredoveká pevnosť postavená v 13. storočí na obranu mesta pred útokmi zo západu. Prvé písomné zmienky o Castel Sant'Elmo pochádzajú z druhej polovice 13. storočia. Róbert z Anjou poveril v roku 1329 architekta a sochára Tina di Camaino, ktorý bol v tom čase zaneprázdnený prácou na Certosa di San Martino, aby začal s prístavbou.
V rokoch 1537 až 1547, počas vlády cisára Svätej ríše rímskej Karola V., začal vicekráľ Don Pedro de Toledo s rekonštrukciou, ktorá viedla k súčasnému šesťuholníkovému pôdorysu v tvare hviezdy. Keď v roku 1587 výbuch zničil veľkú časť budov na Piazza d'Armi, projektom rekonštrukcie bol poverený architekt Domenico Fontana. Hrad bol aj protagonistom revolúcie v roku 1799, keď skupina intelektuálov inšpirovaná ideálmi Francúzskej revolúcie obsadila pevnosť a vyhlásila Neapolskú republiku.
Vo svojej histórii slúžil aj ako väzenie a v súčasnosti zostáva pre turistov uzavretý, s výnimkou podujatí pod holým nebom a pravidelných výstav, ktoré sa v ňom organizujú.
