Lâu đài đứng trên ngọn đồi Vomero sừng sững ở Napoli, từ đó có tầm nhìn tuyệt đẹp ra thành phố và núi lửa Vesuvius. Đây là một pháo đài thời trung cổ được xây dựng vào thế kỷ 13 để bảo vệ thành phố trước các cuộc tấn công từ phía tây.Tài liệu đầu tiên đề cập đến Castel Sant'Elmo có từ nửa sau của thế kỷ 13. Roberto of Anjou đã ủy quyền cho kiến trúc sư và nhà điêu khắc Tino di Camaino, vào thời điểm đó đang bận rộn làm việc trên Certosa di San Martino, để bắt đầu công việc mở rộng vào năm 1329. Giữa năm 1537 và 1547, dưới thời trị vì của Charles V, Hoàng đế La Mã Thần thánh, phó vương Don Pedro de Toledo đã bắt đầu công việc tái thiết dẫn đến bố cục hình ngôi sao hình lục giác như hiện nay. Khi một vụ nổ phá hủy phần lớn các tòa nhà ở Piazza d’Armi vào năm 1587, dự án tái thiết được giao cho kiến trúc sư Domenico Fontana.Lâu đài cũng là nhân vật chính của Cách mạng 1799 khi một nhóm trí thức, được truyền cảm hứng từ những lý tưởng của Cách mạng Pháp, chiếm giữ pháo đài tuyên bố Cộng hòa Neapolitan.Trong lịch sử của nó, nó cũng từng là một nhà tù và hiện vẫn đóng cửa đối với khách du lịch, ngoại trừ các sự kiện ngoài trời và triển lãm định kỳ được tổ chức trong đó.
Top of the World