Le château se dresse sur la colline de Vomero qui domine Naples, d'où l'on a une vue magnifique sur la ville et le volcan Vésuve. Il s'agit d'une forteresse médiévale construite au 13e siècle pour défendre la ville contre les attaques venant de l'ouest. Les premières références documentaires au Castel Sant'Elmo datent de la seconde moitié du XIIIe siècle. Roberto d'Anjou a chargé l'architecte et sculpteur Tino di Camaino, alors occupé à travailler sur la Certosa di San Martino, de commencer les travaux d'extension en 1329.
Entre 1537 et 1547, sous le règne de Charles V, empereur romain germanique, le vice-roi Don Pedro de Toledo entreprit les travaux de reconstruction qui aboutirent à l'actuel plan hexagonal en forme d'étoile. Lorsqu'une explosion détruisit une grande partie des bâtiments de la place d'Armi en 1587, le projet de reconstruction fut confié à l'architecte Domenico Fontana. Le château fut également un protagoniste de la Révolution de 1799 lorsqu'un groupe d'intellectuels, inspirés par les idéaux de la Révolution française, s'empara de la forteresse en proclamant la République napolitaine.
Au cours de son histoire, il a également servi de prison, et reste actuellement fermé aux touristes, à l'exception des événements en plein air et des expositions périodiques qui y sont organisées.
