A vár a Nápoly fölé magasodó Vomero dombon áll, ahonnan gyönyörű kilátás nyílik a városra és a Vezúvra. Középkori erődítmény, amelyet a 13. században építettek, hogy megvédje a várost a nyugatról érkező támadásoktól. A Castel Sant'Elmóra vonatkozó első okleveles említések a 13. század második feléből származnak. Anjou Roberto 1329-ben bízta meg Tino di Camaino építészt és szobrászt, aki akkoriban a Certosa di San Martino építésén dolgozott, hogy kezdje meg a bővítési munkálatokat.
1537 és 1547 között, V. Károly szent római császár uralkodása alatt Don Pedro de Toledo alkirály kezdte meg az átépítési munkálatokat, amelyek a jelenlegi hatszögletű csillag alakú alaprajzhoz vezettek. Amikor 1587-ben egy robbanás a Piazza d'Armi épületek nagy részét elpusztította, az újjáépítési projektet Domenico Fontana építészre bízták. A vár az 1799-es forradalom egyik főszereplője is volt, amikor a francia forradalom eszméi által inspirált értelmiségiek egy csoportja elfoglalta az erődöt, és kikiáltotta a Nápolyi Köztársaságot.
Története során börtönként is szolgált, jelenleg pedig a turisták előtt zárva marad, kivéve a benne szervezett szabadtéri rendezvényeket és időszakos kiállításokat.
