Zamek stojący na górującym nad Neapolem wzgórzu Vomero, z którego rozciąga się piękny widok na miasto i wulkan Wezuwiusz. Jest to średniowieczna twierdza wybudowana w XIII wieku w celu obrony miasta przed atakami z zachodu. Pierwsze dokumentalne wzmianki o Castel Sant'Elmo pochodzą z drugiej połowy XIII wieku. Roberto z Anjou zlecił architektowi i rzeźbiarzowi Tino di Camaino, w tym czasie zajętemu pracą nad Certosa di San Martino, rozpoczęcie prac nad rozbudową w 1329 roku.
W latach 1537-1547, za panowania Karola V, Świętego Cesarza Rzymskiego, wicekról Don Pedro de Toledo rozpoczął prace rekonstrukcyjne, które doprowadziły do powstania obecnego sześciokątnego układu w kształcie gwiazdy. Gdy w 1587 roku wybuch zniszczył dużą część zabudowań przy Piazza d'Armi, projekt odbudowy powierzono architektowi Domenico Fontanie. Zamek był również bohaterem rewolucji z 1799 roku, kiedy to grupa intelektualistów, zainspirowana ideałami rewolucji francuskiej, zajęła twierdzę proklamując Republikę Neapolitańską.
W swojej historii pełnił on także funkcję więzienia, a obecnie pozostaje zamknięty dla turystów, poza imprezami plenerowymi i okresowymi wystawami, które są w nim organizowane.
