Το Castel Sant'elmo είναι ένα από τα σημαντικότερα παραδείγματα στρατιωτικής αρχιτεκτονικής του '500, είναι το μεγαλύτερο στην πόλη, είναι χτισμένο με το χαρακτηριστικό ναπολιτάνικο κίτρινο tuff και το εσωτερικό του στεγάζει το Μουσείο του εικοστού αιώνα, με συλλογές σύγχρονης τέχνης. Χτίστηκε πάνω στα ερείπια ενός νορμανδικού πύργου παρατήρησης και, λόγω της στρατηγικής του θέσης, όποιος κυβέρνησε τη Νάπολη προσπάθησε πάντα να την καταλάβει. Αν και οι πρώτες πληροφορίες για το κάστρο είναι από το 1329 με τον Roberto D'angiò, η σημερινή αρχιτεκτονική του με το 6-μυτερό σχέδιο σε σχήμα αστεριού χρονολογείται από το πρώτο μισό του '500.
Κατά τη διάρκεια των αιώνων έχει υποστεί πολλές πολιορκίες, αλλά μόνο στις αρχές της δεκαετίας του εβδομήντα του '900 έγινε στρατιωτική φυλακή, ενώ το 1988 άνοιξε στο κοινό ως μουσείο και μερικές φορές διοργανώνονται και ειδικές εκδηλώσεις. Σήμερα μπορείτε να επισκεφθείτε τόσο το εσωτερικό όσο και την υποβλητική Piazza D'armi με την πανοραμική βεράντα και τους διαδρόμους μέσα στις επάλξεις. Από την είσοδο, για να φτάσετε στην κορυφή, πρέπει να περπατήσετε μια απότομη ράμπα που οδηγεί σε μια γέφυρα που ακολουθείται από το σπήλαιο του Ερημίτη όπου κάποτε ζούσε ακριβώς ένας ερημίτης.
Συνεχίζοντας, μπορείτε να θαυμάσετε την πύλη Piperno με το οικόσημο του Charles V και μια πύλη γκιλοτίνας ακριβώς μπροστά, ενώ στα αριστερά υπάρχει η δεύτερη ράμπα εισόδου. Σε αυτή την περιοχή μπορείτε να απολαύσετε μια πρώτη μαγευτική θέα της πόλης μέσα από ένα πλευρικό παράθυρο, ενώ λίγα μέτρα μπροστά μπορείτε να επισκεφθείτε τις πρώην φυλακές. Τέλος, φτάνετε στην όμορφη Piazza d'armi διασχίζει το Torre del Castellano και μπορείτε τελικά να περπατήσετε στους διαδρόμους των προμαχώνων που προσφέρουν φανταστική θέα στην πόλη, το πιο ολοκληρωμένο από το ιστορικό κέντρο, τη θάλασσα και τα νησιά του Κόλπου.