Het kasteel staat op de Vomero heuvel die boven Napels uittorent, van waaruit er een prachtig uitzicht is op de stad en de vulkaan Vesuvius. Het is een middeleeuws fort dat in de 13e eeuw werd gebouwd om de stad te verdedigen tegen aanvallen uit het westen. De eerste documentaire verwijzingen naar Castel Sant'Elmo dateren uit de tweede helft van de 13e eeuw. Roberto van Anjou gaf architect en beeldhouwer Tino di Camaino, op dat moment druk bezig met de Certosa di San Martino, opdracht om in 1329 met de uitbreidingswerkzaamheden te beginnen.
Tussen 1537 en 1547, tijdens het bewind van Keizer Karel V, begon onderkoning Don Pedro de Toledo met de reconstructie die leidde tot de huidige zeshoekige stervormige indeling. Toen een explosie in 1587 een groot deel van de gebouwen op het Piazza d'Armi verwoestte, werd het wederopbouwproject toevertrouwd aan architect Domenico Fontana. Het kasteel was ook een hoofdrolspeler in de revolutie van 1799, toen een groep intellectuelen, geïnspireerd door de idealen van de Franse Revolutie, zich meester maakte van het fort en de Napolitaanse Republiek uitriep.
In zijn geschiedenis diende het ook als gevangenis, en momenteel is het gesloten voor toeristen, behalve voor openluchtevenementen en periodieke tentoonstellingen die er worden georganiseerd.
