Dvorac koji stoji na brdu Vomero nadvisuje Napulj, s kojeg se pruža prekrasan pogled na grad i vulkan Vezuv. To je srednjovjekovna utvrda izgrađena u 13. stoljeću za obranu grada od napada sa zapada.Prva dokumentarna spominjanja Castel Sant’Elma datiraju iz druge polovice 13. stoljeća. Roberto od Anjoua zadužio je arhitekta i kipara Tina di Camaina, koji je u to vrijeme radio na Certosi di San Martino, da započne radove na proširenju 1329. godine. Između 1537. i 1547., za vrijeme vladavine Karla V., cara Svetog rimskog carstva, potkralj Don Pedro de Toledo započeo je radove na rekonstrukciji koji su doveli do sadašnjeg rasporeda u obliku šesterokutne zvijezde. Kada je 1587. godine eksplozija uništila velik dio zgrada na Piazzi d’Armi, projekt rekonstrukcije povjeren je arhitektu Domenicu Fontani.Dvorac je bio i protagonist revolucije 1799. godine kada je skupina intelektualaca, nadahnuta idealima Francuske revolucije, zauzela tvrđavu proglasivši Napuljsku Republiku.U svojoj povijesti služio je i kao zatvor, a trenutno je zatvoren za turiste, osim za događanja na otvorenom i povremene izložbe koje se u njemu organiziraju.
