Замок стоїть на пагорбі Вомеро, що височіє над Неаполем, з якого відкривається прекрасний вид на місто і вулкан Везувій. Це середньовічна фортеця, побудована в 13 столітті для захисту міста від нападів із заходу. Перші документальні згадки про замок Сант-Ельмо датуються другою половиною 13 століття. Роберто Анжуйський доручив архітектору і скульптору Тіно ді Камайно, який на той час був зайнятий роботою над церквою Сан-Мартіно, розпочати роботи з розширення у 1329 році.
Між 1537 і 1547 роками, під час правління Карла V, імператора Священної Римської імперії, віце-король Дон Педро де Толедо розпочав роботи з реконструкції, які призвели до нинішнього шестикутного зіркоподібного планування. Коли у 1587 році вибух зруйнував значну частину будівель на площі Пьяцца д'Армі, проект реконструкції було доручено архітектору Доменіко Фонтана. Замок також був головним героєм революції 1799 року, коли група інтелектуалів, натхненна ідеалами Великої французької революції, захопила фортецю, проголосивши Неаполітанську республіку.
У своїй історії він також слугував в'язницею, і наразі залишається закритим для туристів, за винятком заходів під відкритим небом та періодичних виставок, які в ньому організовуються.
