Hrad stojící na kopci Vomero, který se tyčí nad Neapolí a z něhož je krásný výhled na město a sopku Vesuv. Jedná se o středověkou pevnost postavenou ve 13. století na obranu města před útoky ze západu. První písemné zmínky o Castel Sant'Elmo pocházejí z druhé poloviny 13. století. Roberto z Anjou pověřil v roce 1329 architekta a sochaře Tina di Camaino, v té době zaneprázdněného prací na stavbě Certosa di San Martino, aby zahájil práce na rozšíření.
V letech 1537 až 1547, za vlády císaře Svaté říše římské Karla V., zahájil místokrál Don Pedro de Toledo přestavbu, která vedla k současnému šestiúhelníkovému půdorysu ve tvaru hvězdy. Když v roce 1587 výbuch zničil velkou část budov na náměstí Piazza d'Armi, byl projektem rekonstrukce pověřen architekt Domenico Fontana. Hrad byl také protagonistou revoluce v roce 1799, kdy se skupina intelektuálů inspirovaná ideály Francouzské revoluce zmocnila pevnosti a vyhlásila Neapolskou republiku.
Ve své historii sloužil také jako vězení a v současnosti zůstává pro turisty uzavřen, s výjimkou venkovních akcí a pravidelných výstav, které se v něm pořádají.
