El castillo está situado en la colina del Vomero, que domina Nápoles, y desde el que se tiene una hermosa vista de la ciudad y del volcán Vesubio. Se trata de una fortaleza medieval construida en el siglo XIII para defender la ciudad de los ataques del oeste. Las primeras referencias documentales al Castillo de Sant'Elmo datan de la segunda mitad del siglo XIII. Roberto de Anjou encargó al arquitecto y escultor Tino di Camaino, por aquel entonces ocupado en las obras de la Certosa di San Martino, que iniciara las obras de ampliación en 1329.
Entre 1537 y 1547, durante el reinado de Carlos V, emperador del Sacro Imperio Romano Germánico, el virrey Don Pedro de Toledo inició las obras de reconstrucción que dieron lugar a la actual disposición hexagonal en forma de estrella. Cuando una explosión destruyó gran parte de los edificios de la plaza de Armas en 1587, el proyecto de reconstrucción se encargó al arquitecto Domenico Fontana. El castillo también fue protagonista de la Revolución de 1799, cuando un grupo de intelectuales, inspirados en los ideales de la Revolución Francesa, se apoderó de la fortaleza proclamando la República Napolitana.
En su historia también sirvió de prisión, y actualmente permanece cerrado a los turistas, excepto para los eventos al aire libre y las exposiciones periódicas que se organizan en él.
