Slottet står på Vomero-kullen som tornar upp sig över Neapel och från vilken man har en vacker utsikt över staden och vulkanen Vesuvius. Det är en medeltida fästning som byggdes på 1200-talet för att försvara staden mot attacker från väster. De första dokumentära hänvisningarna till Castel Sant'Elmo är från andra hälften av 1200-talet. Roberto av Anjou gav arkitekten och skulptören Tino di Camaino, som vid den tiden var upptagen med Certosa di San Martino, i uppdrag att påbörja utbyggnadsarbetet 1329.
Mellan 1537 och 1547, under Karl V:s, den heliga romerska kejsaren, inledde vicekungen Don Pedro de Toledo det ombyggnadsarbete som ledde till den nuvarande sexkantiga stjärnformade utformningen. När en explosion förstörde en stor del av byggnaderna på Piazza d'Armi 1587 anförtroddes återuppbyggnadsprojektet åt arkitekten Domenico Fontana. Slottet var också en huvudperson i revolutionen 1799 när en grupp intellektuella, inspirerade av den franska revolutionens ideal, intog fästningen och utropade den napolitanska republiken.
Under sin historia har det också fungerat som fängelse och för närvarande är det stängt för turister, förutom för utomhusarrangemang och periodiska utställningar som anordnas i det.
