Замок стоит на холме Вомеро, возвышающемся над Неаполем, с которого открывается прекрасный вид на город и вулкан Везувий. Это средневековая крепость, построенная в 13 веке для защиты города от нападений с запада. Первые документальные упоминания о замке Сант-Эльмо относятся ко второй половине 13 века. Роберто Анжуйский поручил архитектору и скульптору Тино ди Камаино, который в то время был занят работой над Чертозой ди Сан-Мартино, начать работы по расширению крепости в 1329 году.
Между 1537 и 1547 годами, во время правления Карла V, императора Священной Римской империи, вице-король Дон Педро де Толедо начал работы по реконструкции, которые привели к нынешней шестиугольной звездообразной планировке. Когда в 1587 году взрыв разрушил большую часть зданий на площади Пьяцца д'Арми, проект реконструкции был поручен архитектору Доменико Фонтана. Замок также стал действующим лицом революции 1799 года, когда группа интеллектуалов, вдохновленная идеалами Французской революции, захватила крепость, провозгласив Неаполитанскую республику.
В своей истории он также служил тюрьмой, и в настоящее время остается закрытым для туристов, за исключением мероприятий на открытом воздухе и периодически организуемых в нем выставок.
