Napoli'nin üzerinde yükselen Vomero tepesinde yer alan kaleden şehrin ve Vezüv yanardağının güzel bir manzarası vardır. Şehri batıdan gelen saldırılara karşı savunmak için 13. yüzyılda inşa edilmiş bir ortaçağ kalesidir. Castel Sant'Elmo'ya ilişkin ilk belgesel referanslar 13. yüzyılın ikinci yarısına aittir. Anjou'lu Roberto, o sıralarda Certosa di San Martino üzerinde çalışmakla meşgul olan mimar ve heykeltıraş Tino di Camaino'yu 1329 yılında genişletme çalışmalarına başlaması için görevlendirmiştir.
1537 ve 1547 yılları arasında, Kutsal Roma İmparatoru V. Charles'ın hükümdarlığı sırasında, vali Don Pedro de Toledo, mevcut altıgen yıldız şeklindeki düzene yol açan yeniden yapılanma çalışmalarına başladı. Bir patlama 1587 yılında Piazza d'Armi'deki binaların büyük bir bölümünü yok edince, yeniden inşa projesi mimar Domenico Fontana'ya emanet edildi. Kale, Fransız Devrimi'nin ideallerinden ilham alan bir grup entelektüelin Napoliten Cumhuriyeti'ni ilan ederek kaleyi ele geçirdiği 1799 Devrimi'nin de baş kahramanlarından biriydi.
Tarihinde hapishane olarak da hizmet vermiş olan bu yapı, şu anda açık hava etkinlikleri ve içinde düzenlenen periyodik sergiler dışında turistlere kapalıdır.
