Dikatakan bahwa keputusan Robert dari Anjou untuk membangun kastil di puncak bukit Vomero diambil pada bulan September 1328 pada saat kunjungannya ke Charterhouse San Martino, yang baru saja selesai dibangun. Robert mengikuti dan secara pribadi mengawasi pekerjaan di lokasi pembangunan Kerajaan. Dia sering ditemani oleh putranya Charles, Duke of Calabria, pewaris takhta yang tidak akan menggantikan ayahnya, yang memiliki gagasan berbeda tentang gaya arsitektur. Faktanya, Charles peka terhadap arus baru yang, meninggalkan arsitektur Fransiskan yang sederhana dan esensial, dan menggunakan model tradisional arsitektur Gotik dan Kartusian klasik. Pada tahun 1325, Charles telah mempromosikan pembangunan Charterhouse of San Martino, yang sekarang menjadi Museum San Martino. Raja Napoli, yang selalu berperang dengan Sisilia, memimpin partai Guelph Italia dan menjamin Gereja untuk membayar upeti feodal tahunan dari Chinea: kakeknya, Charles, telah mendapatkan Kerajaan dari Gereja dalam fungsi anti-kaisar, dan telah mengalahkan dan mengeksekusi Corradino dari Swabia di Piazza del Mercato. Singkatnya, Wangsa Anjou pada saat itu merupakan sekutu yang kuat dan setia yang menjamin kekuatan temporal Kepausan. Setelah pemindahan ibu kota dari Palermo ke Napoli, yang diinginkan oleh kakeknya, Charles (tetapi Frederick II dari Swabia telah memilih kota Neapolitan untuk mendirikan Universitas Kerajaan pertama di sana pada tahun 1225), Revolusi Vesper telah meletus di Sisilia, mengakhiri Kerajaan yang didirikan oleh Roger II dari Altavilla, dan menjadi makmur di bawah raja-raja Normandia dan Swabia. Sejak saat itu, baik Napoli maupun Palermo mengklaim seluruh wilayah dari Trent hingga Malta, dan masing-masing dari kedua kerajaan itu disebut 'dari Sisilia' (karena itu kemudian disebut 'dua Sisilia'). Perang yang berlangsung selama 90 tahun dalam fase-fase yang bergantian ini tidak menghasilkan pemenang, karena tidak ada satu pun pihak yang memiliki kekuatan untuk mengalahkan pihak lainnya. Robert dari Anjou tetaplah seorang raja yang baik bagi Napoli: berkat inisiatifnya dan Ratu Sancha dari Majorca, kota ini berkembang dan banyak pekerjaan yang dilakukan.Ide awal Robert adalah membangun sebuah istana di puncak Vomero untuk dirinya sendiri dan istananya, untuk digunakan sebagai tempat tinggal musim panas. Pada tanggal 7 Juli 1329, melalui dekritnya, ia memerintahkan Giovanni de Haya, bupati Kuria Vikariat, untuk membangun Palatium di puncak bukit Sancti Erasmi prope Neapolim, pro habilitate person nostre et aliarum personarum curiam nostram sequentium... Dalam dekrit tersebut, instruksi yang tepat diberikan tentang kapan dan bagaimana membangun, dan tentang pengeluaran maksimum (seribu ons emas, jumlah yang ternyata jauh lebih sedikit dari yang dibutuhkan). Dalam dokumen-dokumen berikutnya yang berkaitan dengan bangunan tersebut, istilah 'palatium' tidak lagi digunakan, tetapi 'castrum', atau Kastil: benteng strategis karena posisinya, baik untuk mempertahankan Maschio, yang sepenuhnya terbuka untuk serangan dari atas, dan untuk mengendalikan kota.