यह महल नेपल्स के ऊपर ऊंची वोमेरो पहाड़ी पर खड़ा है, जहां से शहर और ज्वालामुखी वेसुवियस का सुंदर दृश्य दिखाई देता है। यह एक मध्ययुगीन किला है जिसे 13वीं शताब्दी में पश्चिम से हमलों के खिलाफ शहर की रक्षा के लिए बनाया गया था।कैस्टेल सेंट'एल्मो का पहला दस्तावेजी संदर्भ 13वीं शताब्दी के उत्तरार्ध का है। अंजु के रॉबर्टो ने वास्तुकार और मूर्तिकार टीनो डी कैमैनो को 1329 में विस्तार कार्य शुरू करने के लिए नियुक्त किया, जो उस समय सर्टोसा डी सैन मार्टिनो पर काम करने में व्यस्त थे। 1537 और 1547 के बीच, पवित्र रोमन सम्राट चार्ल्स पंचम के शासनकाल के दौरान, वायसराय डॉन पेड्रो डी टोलेडो ने पुनर्निर्माण कार्य शुरू किया जिसके कारण वर्तमान हेक्सागोनल स्टार-आकार का लेआउट तैयार हुआ। जब 1587 में एक विस्फोट ने पियाज़ा डी'आर्मी में इमारतों का एक बड़ा हिस्सा नष्ट कर दिया, तो पुनर्निर्माण परियोजना वास्तुकार डोमेनिको फोंटाना को सौंपी गई थी।यह महल 1799 की क्रांति का भी नायक था जब फ्रांसीसी क्रांति के आदर्शों से प्रेरित बुद्धिजीवियों के एक समूह ने नियति गणराज्य की घोषणा करते हुए किले पर कब्ज़ा कर लिया था।अपने इतिहास में यह एक जेल के रूप में भी काम करता था, और वर्तमान में इसमें आयोजित होने वाले बाहरी कार्यक्रमों और आवधिक प्रदर्शनियों को छोड़कर, पर्यटकों के लिए बंद रहता है।