Замъкът се издига на хълма Вомеро, който се извисява над Неапол и от който се открива красива гледка към града и вулкана Везувий. Това е средновековна крепост, построена през XIII в., за да защитава града от нападения от запад. Първите документални сведения за замъка Сант'Елмо датират от втората половина на XIII в. През 1329 г. Роберто Анжуйски възлага на архитекта и скулптора Тино ди Камайно, по това време зает с работата по Чертоза ди Сан Мартино, да започне разширителни работи.
Между 1537 г. и 1547 г., по време на управлението на Карл V, император на Свещената Римска империя, вицекралят Дон Педро де Толедо започва реконструкция, която довежда до сегашния шестоъгълен звездообразен план. Когато през 1587 г. експлозия разрушава голяма част от сградите на Пиаца д'Арми, проектът за реконструкция е поверен на архитект Доменико Фонтана. Замъкът е главен герой и на революцията от 1799 г., когато група интелектуалци, вдъхновени от идеалите на Френската революция, превземат крепостта, провъзгласявайки Неаполитанската република.
В историята си замъкът е служил и като затвор, а понастоящем остава затворен за туристи, с изключение на събитията на открито и периодичните изложби, които се организират в него.
