Qasr Neapol tepasida joylashgan Vomero tepaligida joylashgan bo'lib, undan shahar va Vezuviy vulqonining go'zal ko'rinishi mavjud. Bu shaharni g'arbiy hujumlardan himoya qilish uchun 13-asrda qurilgan o'rta asr qal'asi.Castel Sant'Elmo haqidagi birinchi hujjatli havolalar 13-asrning ikkinchi yarmiga to'g'ri keladi. Anjoulik Roberto o'sha paytda Sertosa di San-Martino ustida ishlayotgan me'mor va haykaltarosh Tino di Kamainoga 1329 yilda kengaytirish ishlarini boshlashni topshirdi. 1537 yildan 1547 yilgacha Muqaddas Rim imperatori Karl V hukmronligi davrida vitse-qirol Don Pedro de Toledo rekonstruksiya ishlarini boshladi, bu esa hozirgi olti burchakli yulduz shaklidagi tartibni yaratishga olib keldi. 1587 yilda portlash Piazza d'Armidagi binolarning katta qismini vayron qilganda, rekonstruksiya loyihasi me'mor Domeniko Fontanaga ishonib topshirilgan.Qal'a, shuningdek, 1799 yilgi inqilobning qahramoni bo'lgan, bir guruh ziyolilar Frantsiya inqilobi g'oyalaridan ilhomlanib, Neapolitan Respublikasini e'lon qilgan qal'ani egallab olishgan.O'z tarixida u qamoqxona sifatida ham xizmat qilgan va hozirda sayyohlar uchun yopiq bo'lib qolmoqda, ochiq tadbirlar va unda tashkil etiladigan davriy ko'rgazmalar bundan mustasno.
