Замак стаіць на ўзгорку Вомеро, які ўзвышаецца над Неапалем, з якога адкрываецца выдатны від на горад і вулкан Везувій. Гэта сярэднявечная крэпасць, пабудаваная ў 13 стагоддзі для абароны горада ад нападаў з захаду.Першыя дакументальныя згадкі пра Кастэль Сант-Эльма датуюцца другой паловай XIII стагоддзя. Раберта Анжуйскі даручыў архітэктару і скульптару Ціна дзі Камайна, які ў той час працаваў над Чартаза дзі Сан-Марціна, пачаць работы па пашырэнні ў 1329 годзе. Паміж 1537 і 1547 гадамі, падчас праўлення Карла V, імператара Свяшчэннай Рымскай імперыі, віцэ-кароль дон Педра дэ Таледа пачаў рэканструкцыю, якая прывяла да цяперашняга шасцікутнай зоркападобнай планіроўкі. Калі ў 1587 годзе выбух разбурыў вялікую частку будынкаў на плошчы П'яцца д'Армі, праект рэканструкцыі быў даручаны архітэктару Даменіка Фантана.Замак быў таксама галоўным героем рэвалюцыі 1799 года, калі група інтэлектуалаў, натхнёная ідэаламі Французскай рэвалюцыі, захапіла крэпасць, абвясціўшы Неапалітанскую рэспубліку.У сваёй гісторыі ён таксама служыў турмой, і ў цяперашні час застаецца закрытым для турыстаў, за выключэннем мерапрыемстваў на свежым паветры і перыядычных выстаў, якія арганізуюцца ў ім.
