Istana yang berdiri di atas bukit Vomero yang menjulang tinggi di atas Naples, dari mana terdapat pemandangan indah bandar dan gunung berapi Vesuvius. Ia adalah kubu abad pertengahan yang dibina pada abad ke-13 untuk mempertahankan bandar daripada serangan dari barat.Dokumentari pertama merujuk kepada Castel Sant'Elmo bermula dari separuh kedua abad ke-13. Roberto dari Anjou menugaskan arkitek dan pengukir Tino di Camaino, pada masa itu sibuk bekerja di Certosa di San Martino, untuk memulakan kerja sambungan pada tahun 1329. Antara 1537 dan 1547, semasa pemerintahan Charles V, Maharaja Rom Suci, raja muda Don Pedro de Toledo memulakan kerja pembinaan semula yang membawa kepada susun atur berbentuk bintang heksagon semasa. Apabila letupan memusnahkan sebahagian besar bangunan di Piazza d'Armi pada tahun 1587, projek pembinaan semula telah diamanahkan kepada arkitek Domenico Fontana.Istana ini juga merupakan protagonis Revolusi 1799 apabila sekumpulan intelektual, yang diilhamkan oleh cita-cita Revolusi Perancis, menguasai kubu yang mengisytiharkan Republik Neapolitan.Dalam sejarahnya, ia juga berfungsi sebagai penjara, dan pada masa ini masih ditutup kepada pelancong, kecuali untuk acara luar dan pameran berkala yang dianjurkan di dalamnya.
