Το κάστρο στέκεται στο λόφο Vomero που δεσπόζει πάνω από τη Νάπολη, από όπου υπάρχει μια όμορφη θέα της πόλης και του ηφαιστείου Βεζούβιου. Πρόκειται για ένα μεσαιωνικό φρούριο που χτίστηκε τον 13ο αιώνα για να υπερασπιστεί την πόλη από επιθέσεις από τα δυτικά. Οι πρώτες τεκμηριωμένες αναφορές στο Castel Sant'Elmo χρονολογούνται από το δεύτερο μισό του 13ου αιώνα. Ο Ροβέρτος του Ανζού ανέθεσε στον αρχιτέκτονα και γλύπτη Tino di Camaino, ο οποίος εκείνη την εποχή εργαζόταν στην Certosa di San Martino, να ξεκινήσει τις εργασίες επέκτασης το 1329.
Μεταξύ του 1537 και του 1547, κατά τη διάρκεια της βασιλείας του Καρόλου Ε΄, αυτοκράτορα της Αγίας Ρωμαϊκής Αυτοκρατορίας, ο αντιβασιλέας Don Pedro de Toledo ξεκίνησε τις εργασίες ανακατασκευής που οδήγησαν στη σημερινή εξαγωνική διάταξη σε σχήμα αστεριού. Όταν μια έκρηξη κατέστρεψε μεγάλο μέρος των κτιρίων στην Piazza d'Armi το 1587, το έργο της ανακατασκευής ανατέθηκε στον αρχιτέκτονα Domenico Fontana. Το κάστρο υπήρξε επίσης πρωταγωνιστής της Επανάστασης του 1799, όταν μια ομάδα διανοουμένων, εμπνευσμένη από τα ιδανικά της Γαλλικής Επανάστασης, κατέλαβε το φρούριο ανακηρύσσοντας τη Ναπολιτάνικη Δημοκρατία.
Στην ιστορία του χρησίμευσε και ως φυλακή, ενώ σήμερα παραμένει κλειστό για τους τουρίστες, εκτός από τις υπαίθριες εκδηλώσεις και τις περιοδικές εκθέσεις που διοργανώνονται σε αυτό.
