Anjou'lu Robert'in Vomero tepesine bir kale inşa etme kararını Eylül 1328'de, henüz inşa edilmekte olan San Martino Charterhouse'u ziyareti sırasında aldığı söylenir. Robert, Krallığın inşaat alanlarındaki çalışmaları takip etti ve bizzat denetledi. Kendisine sık sık, mimari tarzlar konusunda farklı fikirlere sahip olan ve babasından sonra tahta geçemeyecek olan oğlu Calabria Dükü Charles eşlik ediyordu. Aslında Charles, çıplak ve temel Fransisken mimarisini terk ederek klasik Gotik ve Kartus mimarisinin geleneksel modellerinden yararlanan yeni akımlara karşı duyarlıydı. Charles, 1325 yılında, şimdi San Martino Müzesi olan San Martino Charterhouse'un yapımını teşvik etmişti. Sicilyalılarla sürekli savaş halinde olan Napoli Kralı, İtalyan Guelph partisinin başındaydı ve Kilise'ye yıllık Chinea feodal haracını garanti ediyordu: büyükbabası Charles, imparatorluk karşıtı bir işlevle Krallığı Kilise'den almış ve Swabia'lı Corradino'yu Piazza del Mercato'da dövüp idam ettirmişti. Kısacası, Anjou Hanedanı o dönemde Papalığın geçici gücünü garanti eden güçlü ve sadık bir müttefiki temsil ediyordu. Büyükbabası Charles'ın arzusuyla başkentin Palermo'dan Napoli'ye taşınmasının ardından (ancak Svabya Kralı Frederick II, 1225'te Krallığın ilk üniversitesini kurmak için Napoli şehrini seçmişti), Sicilya'da Vespers Devrimi patlak vermiş, Altavilla'lı Roger II tarafından kurulan ve Norman ve Svabya kralları altında zenginleşen Krallığa son vermişti. O andan itibaren hem Napoli hem de Palermo, Trent'ten Malta'ya kadar olan tüm bölgeyi sahiplendi ve her iki krallık da 'Sicilya' olarak adlandırıldı (daha sonra kullanılan 'iki Sicilya' terimi buradan gelmektedir). Dönüşümlü olarak 90 yıl süren savaşın galibi olmadı, çünkü iki taraf da diğerine üstün gelecek güce sahip değildi. Anjou'lu Robert yine de Napoli için iyi bir kraldı: onun ve Mayorka Kraliçesi Sancha'nın girişimleri sayesinde şehir büyüdü ve çok sayıda eser yapıldı.Robert'in ilk fikri, Vomero'nun zirvesinde kendisi ve maiyeti için yazlık olarak kullanılacak bir saray inşa etmekti. 7 Temmuz 1329'da yayınladığı kararnameyle, Vicariate Curia naibi Giovanni de Haya'ya summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium'da bir Palatium inşa etmesini emretti... Kararnamede, inşaatın ne zaman ve nasıl yapılacağına ve azami harcamaya (bin ons altın, ancak ihtiyaç duyulandan çok daha az olduğu kanıtlanan bir miktar) ilişkin kesin talimatlar verilmiştir. İnşaatla ilgili daha sonraki belgelerde artık 'palatium' terimi değil, 'castrum' yani Kale terimi kullanılıyordu: hem Maschio'yu savunan, yukarıdan gelecek saldırılara tamamen açık hem de kenti kontrol eden konumu nedeniyle stratejik bir kale.
