El Castel Sant'Elmo es uno de los ejemplos más importantes de la arquitectura militar del '500, es el más grande de la ciudad, está construido con la característica toba amarilla napolitana y en su interior alberga el Museo del siglo XX con colecciones de arte contemporáneo. Fue construida sobre los restos de una torre de observación normanda y, por su posición estratégica, quien gobernó Nápoles siempre ha tratado de tomar posesión de ella. Aunque las primeras noticias sobre el Castillo se remontan a 1329 con Roberto de Anjou, su arquitectura actual con su plan en forma de estrella de 6 puntas se remonta a la primera mitad del siglo XVI.
A lo largo de los siglos ha sufrido numerosos asedios, pero sólo a principios del decenio de 1970 se convirtió en una prisión militar, mientras que en 1988 se abrió al público como museo y a veces se organizan eventos especiales. Hoy se puede visitar tanto el interior como la sugerente Piazza d'Armi con su terraza panorámica y los pasillos dentro de las murallas. Desde la entrada, para llegar a la cima, una empinada rampa lleva a un pequeño puente seguido de la Gruta dell'Eremita donde vivió un ermitaño.
Continuando, se puede admirar el portal del piperno con el escudo de armas de Carlos V y una puerta de la guillotina un poco más adelante, mientras que a la izquierda se encuentra la segunda rampa de entrada. En esta zona se puede disfrutar de una primera vista encantadora de la ciudad a través de una ventana lateral, mientras que unos metros más adelante se pueden visitar las antiguas prisiones. Por último, al llegar a la hermosa Piazza d'Armi se cruzará la Torre del Castellano y se podrá finalmente caminar por los pasillos de las murallas que ofrecen una fantástica vista de la ciudad, la más completa del casco antiguo, el mar y las islas del Golfo.