Kastalinn sem stendur á Vomero-hæðinni sem gnæfir yfir Napólí, þaðan er fallegt útsýni yfir borgina og eldfjallið Vesúvíus. Þetta er miðaldavirki sem byggt var á 13. öld til að verja borgina gegn árásum úr vestri.Fyrstu heimildarmyndirnar um Castel Sant'Elmo eru frá seinni hluta 13. aldar. Roberto frá Anjou fól arkitektinum og myndhöggvaranum Tino di Camaino, á þeim tíma upptekinn við að vinna á Certosa di San Martino, að hefja viðbyggingarvinnu árið 1329. Milli 1537 og 1547, á valdatíma Karls V, keisara hins heilaga rómverska rómverska, hóf varakonungurinn Don Pedro de Toledo endurbyggingarvinnuna sem leiddi til núverandi sexhyrndra stjörnulaga skipulags. Þegar sprenging eyðilagði stóran hluta bygginganna á Piazza d'Armi árið 1587 var endurbyggingarverkefnið falið arkitektinum Domenico Fontana.Kastalinn var einnig aðalsöguhetja byltingarinnar 1799 þegar hópur menntamanna, innblásinn af hugsjónum frönsku byltingarinnar, náði tökum á virkinu sem boðaði Napólíska lýðveldið.Í sögu þess þjónaði það einnig sem fangelsi og er sem stendur lokað fyrir ferðamönnum, nema fyrir útiviðburði og reglubundnar sýningar sem eru skipulagðar í því.
