Người ta nói rằng quyết định xây dựng một lâu đài trên đỉnh đồi Vomero của Robert of Anjou được đưa ra vào tháng 9 năm 1328 nhân chuyến thăm của ông đến Certosa di San Martino, ngay bên dưới nó và vẫn đang được xây dựng. Roberto đích thân theo dõi và giám sát công việc tại các công trường xây dựng của Vương quốc. Ông thường đi cùng với con trai mình là Carlo, Công tước xứ Calabria, người thừa kế ngai vàng không sống sót sau cha mình, người có những ý tưởng khác biệt về phong cách kiến trúc. Trên thực tế, Carlo rất nhạy cảm với những trào lưu mới, vốn đã từ bỏ kiến trúc Franciscan trần trụi và thiết yếu, đề cập đến các mô hình truyền thống của Gothic cổ điển và Carthusian. Năm 1325, Carlo là người thúc đẩy việc xây dựng Certosa di San Martino, ngày nay là Bảo tàng San Martino. Vua của Napoli, trong cuộc chiến trường kỳ với người Sicilia, đứng đầu đảng Guelph của Ý và đảm bảo cho Nhà thờ cống nạp phong kiến hàng năm của Chinea: ông nội Charles của ông đã giành được Vương quốc từ Nhà thờ trong một chức năng chống đế quốc, ông đã đánh bại và có Corradin đã hành quyết Swabia ở quảng trường chợ. Nói tóm lại, nhà Anjou đại diện cho một đồng minh mạnh mẽ và trung thành vào thời điểm đó để đảm bảo quyền lực tạm thời của Giáo hoàng. Sau khi dời đô từ Palermo đến Napoli, theo lệnh truy nã của ông nội Carlo (nhưng Frederick II của Swabia đã chọn thành phố Neapolitan để thành lập trường Đại học đầu tiên của Vương quốc vào năm 1225), Cách mạng Kinh chiều đã nổ ra ở Sicily, đặt một kết thúc với Vương quốc được thành lập bởi Roger II của Altavilla, và thịnh vượng với các vị vua Norman và Swabia. Kể từ đó, cả Napoli và Palermo đều tuyên bố chủ quyền đối với toàn bộ lãnh thổ kéo dài từ Trento đến Malta, và mỗi Vương quốc trong số hai Vương quốc đều được gọi là "của Sicily" (do đó sau này có thuật ngữ "hai Sicilies"). Cuộc chiến kéo dài 90 năm không phân thắng bại vì không bên nào đủ sức mạnh để thắng bên kia. Tuy nhiên, Roberto d'Angiò là một vị vua tốt cho Napoli: nhờ những sáng kiến của ông và của Nữ hoàng Sancha của Majorca, thành phố đã phát triển và nhiều công trình đã được thực hiện.Ý tưởng ban đầu của Roberto là xây dựng một cung điện cho chính ông và triều đình của ông trên đỉnh Vomero, để dùng làm nơi ở vào mùa hè. Vào ngày 7 tháng 7 năm 1329, với sắc lệnh của mình, ông ra lệnh cho Giovanni de Haya, nhiếp chính của Giáo triều Vicaria, xây dựng một Palatium ở đỉnh núi Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... Trong sắc lệnh, các hướng dẫn chính xác đã được đưa ra về thời gian và phương pháp xây dựng, về chi phí tối đa (một nghìn lạng vàng, tuy nhiên, số tiền được chứng minh là ít hơn nhiều so với mức cần thiết). Trong các tài liệu tiếp theo liên quan đến tòa nhà, người ta không còn nói về palatium nữa mà nói về castrum, tức là lâu đài: một pháo đài chiến lược do vị trí của nó, vừa để phòng thủ Nam, hoàn toàn hứng chịu các cuộc tấn công từ trên cao, vừa để kiểm soát của thành phố.