Dvorac koji stoji na brdu Vomero koji se uzdiže nad Napuljem, sa kojeg se pruža prekrasan pogled na grad i vulkan Vezuv. To je srednjovjekovna tvrđava izgrađena u 13. vijeku za odbranu grada od napada sa zapada.Prve dokumentarne reference na Castel Sant’Elmo datiraju iz druge polovine 13. stoljeća. Roberto od Anžua naručio je arhitektu i vajaru Tino di Camaino, koji je u to vrijeme bio zauzet radom na Certosa di San Martino, da započne radove na proširenju 1329. Između 1537. i 1547. godine, tokom vladavine Karla V, cara Svetog rimskog carstva, vicekralj Don Pedro de Toledo započeo je radove na rekonstrukciji koji su doveli do sadašnjeg šesterokutnog izgleda u obliku zvijezde. Kada je eksplozija uništila veliki dio zgrada na Piazza d’Armi 1587. godine, projekat rekonstrukcije povjeren je arhitekti Domenico Fontani.Dvorac je bio i protagonista Revolucije 1799. godine kada je grupa intelektualaca, inspirisana idealima Francuske revolucije, zauzela tvrđavu proglašavajući Napuljsku Republiku.U svojoj istoriji služio je i kao zatvor, a trenutno je zatvoren za turiste, osim za manifestacije na otvorenom i periodične izložbe koje se u njemu organizuju.
