Die Burg steht auf dem Vomero-Hügel, der Neapel überragt und von dem aus man einen schönen Blick auf die Stadt und den Vulkan Vesuv hat. Es handelt sich um eine mittelalterliche Festung, die im 13. Jahrhundert zur Verteidigung der Stadt gegen Angriffe aus dem Westen errichtet wurde. Die ersten urkundlichen Erwähnungen des Castel Sant'Elmo stammen aus der zweiten Hälfte des 13. Jahrhunderts. Roberto von Anjou beauftragte 1329 den Architekten und Bildhauer Tino di Camaino, der zu dieser Zeit mit dem Bau der Certosa di San Martino beschäftigt war, mit dem Ausbau.
Zwischen 1537 und 1547, während der Herrschaft von Karl V., dem Kaiser des Heiligen Römischen Reiches, begann der Vizekönig Don Pedro de Toledo mit dem Wiederaufbau, der zu dem heutigen sechseckigen sternförmigen Grundriss führte. Als eine Explosion 1587 einen großen Teil der Gebäude auf der Piazza d'Armi zerstörte, wurde der Architekt Domenico Fontana mit dem Wiederaufbau beauftragt. Das Schloss war auch ein Protagonist der Revolution von 1799, als eine Gruppe von Intellektuellen, inspiriert von den Idealen der Französischen Revolution, die Festung einnahm und die neapolitanische Republik ausrief.
In ihrer Geschichte diente sie auch als Gefängnis und ist derzeit für Touristen geschlossen, mit Ausnahme von Veranstaltungen im Freien und regelmäßigen Ausstellungen, die in ihr organisiert werden.
