Podobno decyzja Roberta z Anjou o budowie zamku na szczycie wzgórza Vomero została podjęta we wrześniu 1328 roku przy okazji wizyty w budowanym właśnie zamku w San Martino. Robert śledził i osobiście nadzorował prace na placach budowy w Królestwie. Często towarzyszył mu jego syn Karol, książę Kalabrii, następca tronu, który nie przeżyje ojca, a który miał inne pomysły na style architektoniczne. W rzeczywistości Karol był wyczulony na nowe prądy, które porzucając nagą i zasadniczą architekturę franciszkańską, czerpały z tradycyjnych wzorców klasycznego gotyku i kartuzji. W 1325 r. Karol wsparł budowę domu czarterowego w San Martino, obecnie Muzeum San Martino. Król Neapolu, będący w wiecznej wojnie z Sycylijczykami, stanął na czele włoskiej partii gwelfów i zagwarantował Kościołowi coroczną daninę feudalną w wysokości Chinea: jego dziadek Karol uzyskał królestwo od Kościoła w ramach funkcji antyimperialnej, a także pobił i kazał rozstrzelać Corradino ze Szwabii na Piazza del Mercato. Krótko mówiąc, ród Andegawenów był w tamtym czasie silnym i wiernym sojusznikiem gwarantującym doczesną władzę papiestwa. Po przeniesieniu stolicy z Palermo do Neapolu, czego chciał jego dziadek Karol (ale Fryderyk II Szwabski już wcześniej wybrał neapolitańskie miasto, zakładając tam w 1225 r. pierwszy w Królestwie uniwersytet), na Sycylii wybuchła rewolucja nieszporów, kładąc kres Królestwu założonemu przez Rogera II z Altavilli, które prosperowało pod rządami królów normańskich i szwabskich. Od tej pory zarówno Neapol, jak i Palermo rościły sobie prawo do całego terytorium od Trydentu do Malty, a każde z tych dwóch królestw nazywało się "z Sycylii" (stąd późniejsze określenie "dwie Sycylie"). Wojna, która trwała 90 lat na przemian, nie miała zwycięzcy, ponieważ żaden z pretendentów nie miał siły, by zwyciężyć nad drugim. Robert Andegaweński był jednak dobrym królem dla Neapolu: dzięki jego inicjatywom oraz inicjatywom królowej Sanchy z Majorki miasto rozrosło się i przeprowadzono liczne prace.Pierwotnym pomysłem Roberta było wybudowanie dla siebie i swojego dworu pałacu na szczycie Vomero, który miał służyć jako letnia rezydencja. 7 lipca 1329 r. swoim dekretem nakazał Giovanniemu de Haya, regentowi kurii wikariatu, wybudowanie Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium.... W dekrecie podano dokładne instrukcje dotyczące czasu i sposobu budowy oraz maksymalnych wydatków (tysiąc uncji złota, suma, która jednak okazała się znacznie mniejsza od potrzeb). W kolejnych dokumentach dotyczących budowy nie używano już terminu "palatium", ale "castrum", czyli Zamek: strategiczna forteca ze względu na swoje położenie, zarówno w obronie Maschio, całkowicie narażonego na atak z góry, jak i w kontroli nad miastem.
