Grad stoji na hribu Vomero, ki se dviga nad Neapljem in s katerega je čudovit razgled na mesto in vulkan Vezuv. Gre za srednjeveško utrdbo, zgrajeno v 13. stoletju za obrambo mesta pred napadi z zahoda. Prve dokumentarne omembe Castel Sant'Elmo segajo v drugo polovico 13. stoletja. Roberto Anžujski je leta 1329 naročil arhitektu in kiparju Tinu di Camainu, ki je bil takrat zaposlen z gradnjo trdnjave Certosa di San Martino, da začne z razširitvenimi deli.
Med letoma 1537 in 1547, v času vladavine Karla V., cesarja Svetega rimskega cesarstva, je podkralj Don Pedro de Toledo začel obnovo, ki je privedla do sedanje šestkotne zvezdaste zasnove. Ko je leta 1587 eksplozija uničila velik del stavb na trgu Piazza d'Armi, je bil projekt obnove zaupan arhitektu Domenicu Fontani. Grad je bil tudi protagonist revolucije leta 1799, ko je skupina intelektualcev, ki so jih navdihnili ideali francoske revolucije, zavzela trdnjavo in razglasila Neapeljsko republiko.
V svoji zgodovini je služil tudi kot zapor, trenutno pa je zaprt za turiste, razen prireditev na prostem in občasnih razstav, ki jih organizirajo v njem.
