Kažu da je Robert Anžujski da sagradi dvorac na vrhu brda Vomero donesen u septembru 1328. godine prilikom njegove posjete Certosa di San Martino, neposredno ispod njega i još uvijek u izgradnji. Roberto je lično pratio i nadgledao radove na gradilištima Kraljevine. Često ga je pratio sin Karlo, vojvoda od Kalabrije, prestolonaslednik koji nije preživeo svog oca, koji je imao različite ideje o arhitektonskim stilovima. Karlo je zapravo bio osjetljiv na nove struje koje su se, napuštajući golu i suštinsku franjevačku arhitekturu, pozivale na tradicionalne uzore klasične gotike i kartuzijanaca. Godine 1325. Karlo je bio pokretač izgradnje Certosa di San Martino, danas Muzeja San Martino. Napuljski kralj, u neprestanom ratu sa Sicilijancima, predvodio je talijansku gvelfsku stranku i jamčio Crkvi godišnji feudalni danak Kine: njegov djed Karlo je dobio Kraljevstvo od Crkve u antiimperijalnoj funkciji, tukao je i dobio Corradin je pogubio Swabia na trgu. Ukratko, kuća Anjou predstavljala je u to vrijeme snažnog i vjernog saveznika koji je jamčio vremensku moć papinstva. Nakon prijenosa glavnog grada iz Palerma u Napulj, kojeg je želio njegov djed Karlo (ali Fridrih II od Švapske je već izabrao napuljski grad da uspostavi prvi Univerzitet Kraljevine 1225.), na Siciliji je izbila Večernja revolucija, koja je dovela do kraj Kraljevine koju je osnovao Roger II od Altaville i koja je napredovala uz normanske i švapske kraljeve. Od tada su i Napulj i Palermo polagali pravo na čitavu teritoriju koja je išla od Trenta do Malte, a svako od dva kraljevstva se zvalo "Sicilija" (otuda kasniji naziv "dvije Sicilije"). Rat, koji je trajao 90 godina, nije imao pobjednika, jer nijedan od kandidata nije imao snage da nadvlada drugog. Roberto d'Angiò je međutim bio dobar kralj za Napulj: zahvaljujući njegovim inicijativama i inicijativama kraljice Sanče od Majorke, grad je rastao i izvođeni su brojni radovi.Robertova početna ideja bila je da izgradi palatu za sebe i svoj dvor na vrhu Vomera, koja će se koristiti kao letnja rezidencija. Svojim dekretom 7. jula 1329. godine naredio je Giovanniju de Haya, regentu Kurije Vikarije, da izgradi Palatium u summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... dekretom date su precizne instrukcije o vremenu i načinu gradnje, o maksimalnom trošku (hiljadu unci zlata, suma koja se, međutim, pokazala daleko manjom od potrebnog). U kasnijim dokumentima koji se odnose na građevinu više se nije govorilo o palatiumu, već o kastrumu, tj. zamku: strateškoj tvrđavi zbog svog položaja, kako u odbrani Male, potpuno izložen napadima odozgo, tako i pod kontrolom. grada.