Rečeno je da je odluka Roberta Anžuvinskog da sagradi dvorac na vrhu brda Vomero donesena u rujnu 1328. godine prilikom njegova posjeta Certosi di San Martino, odmah ispod nje i još uvijek u izgradnji. Roberto je osobno pratio i nadzirao radove na gradilištima Kraljevine. Često ga je pratio i njegov sin Carlo, vojvoda od Kalabrije, prijestolonasljednik koji nije nadživio oca, koji je imao drugačije ideje o arhitektonskim stilovima. Karlo je zapravo bio osjetljiv na nova strujanja koja su se, napustivši golu i suštinsku franjevačku arhitekturu, pozivala na tradicionalne uzore klasične gotike i kartuzijanaca. Godine 1325. Carlo je bio promotor izgradnje Certosa di San Martino, danas muzeja San Martino. Napuljski kralj, u neprestanom ratu sa Sicilijancima, predvodio je talijansku gvelfsku stranku i zajamčio Crkvi godišnji feudalni danak Kine: njegov djed Karlo dobio je Kraljevstvo od Crkve u protucarskoj funkciji, potukao je i imao Corradin je pogubio Swabia na tržnici. Ukratko, kuća Anžuvinaca predstavljala je u to vrijeme snažnog i vjernog saveznika koji je jamčio svjetovnu moć papinstva. Nakon prijenosa prijestolnice iz Palerma u Napulj, što je želio njegov djed Carlo (ali Fridrik II. Švapski već je 1225. odabrao napuljski grad za osnivanje prvog sveučilišta u Kraljevstvu), na Siciliji je izbila Večernja revolucija, postavljajući kraj Kraljevstva koje je utemeljio Roger II od Altaville, a koje je napredovalo s normanskim i švapskim kraljevima. Od tada su i Napulj i Palermo polagali pravo na cijeli teritorij koji je išao od Trenta do Malte, a svako od dva kraljevstva nazivalo se "Sicilija" (otuda kasniji izraz "dvije Sicilije"). U ratu koji je trajao 90 godina, nije bilo pobjednika, jer nijedan od suparnika nije imao snage nadvladati drugoga. Roberto d'Angiò bio je, međutim, dobar kralj za Napulj: zahvaljujući njegovim inicijativama i inicijativama kraljice Sanche od Mallorce, grad je rastao i brojni radovi su izvedeni.Robertova početna ideja bila je sagraditi palaču za sebe i svoj dvor na vrhu Vomera, koja će se koristiti kao ljetna rezidencija. Dana 7. srpnja 1329. svojim je dekretom naredio Giovanniju de Hayi, regentu Kurije Vikarije, izgradnju Palatiuma in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... U dekretom su dane precizne upute o vremenu i načinu gradnje, o maksimalnom trošku (tisuću unci zlata, svota koja se, međutim, pokazala daleko manjom od potrebne). U kasnijim dokumentima koji se odnose na građevinu više se ne govori o palatiumu nego o castrumu, tj. kaštelu: strateška utvrda zbog svog položaja, kako u obrani Male, potpuno izložena napadima odozgo, tako i u kontroli grada.