Castelul se află pe dealul Vomero, care domină Napoli, de unde se poate admira o priveliște frumoasă a orașului și a vulcanului Vezuviu. Este o fortăreață medievală construită în secolul al XIII-lea pentru a apăra orașul împotriva atacurilor dinspre vest. Primele referințe documentare despre Castel Sant'Elmo datează din a doua jumătate a secolului al XIII-lea. Roberto de Anjou l-a însărcinat pe arhitectul și sculptorul Tino di Camaino, ocupat la acea vreme cu lucrările la Certosa di San Martino, să înceapă lucrările de extindere în 1329.
Între 1537 și 1547, în timpul domniei lui Carol al V-lea, împărat al Sfântului Imperiu Roman, viceregele Don Pedro de Toledo a început lucrările de reconstrucție care au dus la actuala configurație hexagonală în formă de stea. Când o explozie a distrus o mare parte din clădirile din Piazza d'Armi în 1587, proiectul de reconstrucție a fost încredințat arhitectului Domenico Fontana. Castelul a fost, de asemenea, protagonistul Revoluției din 1799, când un grup de intelectuali, inspirați de idealurile Revoluției Franceze, au pus stăpânire pe fortăreață proclamând Republica Napolitană.
În istoria sa a servit și ca închisoare, iar în prezent rămâne închis pentru turiști, cu excepția evenimentelor în aer liber și a expozițiilor periodice care se organizează în el.
