Slottet står på Vomero-højen, der tårner sig op over Napoli, hvorfra der er en smuk udsigt over byen og vulkanen Vesuv. Det er en middelalderfæstning, der blev bygget i det 13. århundrede for at forsvare byen mod angreb fra vest. De første dokumentariske henvisninger til Castel Sant'Elmo stammer fra anden halvdel af det 13. århundrede. Roberto af Anjou gav arkitekt og billedhugger Tino di Camaino, der på det tidspunkt havde travlt med at arbejde på Certosa di San Martino, til at påbegynde udvidelsesarbejdet i 1329.
Mellem 1537 og 1547, under den hellige romerske kejser Karl V., påbegyndte vicekonge Don Pedro de Toledo den ombygning, der førte til den nuværende sekskantede stjerneformede indretning. Da en eksplosion ødelagde en stor del af bygningerne på Piazza d'Armi i 1587, blev genopbygningsprojektet overladt til arkitekten Domenico Fontana. Slottet var også en hovedperson i revolutionen i 1799, da en gruppe intellektuelle, inspireret af den franske revolutions idealer, indtog fæstningen og udråbte den napolitanske republik.
I sin historie har den også fungeret som fængsel, og i dag er den lukket for turister, bortset fra udendørs arrangementer og periodiske udstillinger, der arrangeres i den.
