Hovorí sa, že Robert z Anjou sa rozhodol postaviť hrad na vrchole kopca Vomero v septembri 1328 pri príležitosti svojej návštevy práve budovaného chartistického domu San Martino. Robert sledoval a osobne dohliadal na práce na stavbách v kráľovstve. Často ho sprevádzal jeho syn Karol, kalábrijský vojvoda, následník trónu, ktorý svojho otca neprežil a ktorý mal odlišné predstavy o architektonických štýloch. Karol totiž citlivo vnímal nové prúdy, ktoré opúšťali holú a zásadnú františkánsku architektúru a čerpali z tradičných vzorov klasickej gotiky a kartuziánskej architektúry. V roku 1325 Karol podporil výstavbu charty v San Martine, ktorá je dnes múzeom v San Martine. Neapolský kráľ, ktorý bol v neustálej vojne so Sicíliou, stál na čele talianskej guelfskej strany a zaručoval cirkvi ročný feudálny poplatok Chinea: jeho starý otec Karol získal kráľovstvo od cirkvi v protiimperiálnej funkcii a dal poraziť a popraviť Corradina Švábskeho na Piazza del Mercato. Skrátka, rod Anjouovcov predstavoval v tom čase silného a verného spojenca zaručujúceho svetskú moc pápežstva. Po prenesení hlavného mesta z Palerma do Neapola, ktoré si želal jeho starý otec Karol (Fridrich II. Švábsky si však už v roku 1225 vybral neapolské mesto, aby tam založil prvú univerzitu kráľovstva), vypukla na Sicílii Nežná revolúcia, ktorá ukončila kráľovstvo založené Rogerom II. z Altavilly a prosperujúce pod vládou normanských a švábskych kráľov. Odvtedy si Neapol aj Palermo nárokovali na celé územie od Trenta po Maltu a každé z týchto dvoch kráľovstiev sa nazývalo "sicílske" (odtiaľ neskorší termín "dve Sicílie"). Vojna, ktorá striedavo trvala 90 rokov, nemala víťaza, pretože ani jeden zo súperov nemal silu zvíťaziť nad druhým. Robert z Anjou bol napriek tomu pre Neapol dobrým kráľom: vďaka jeho iniciatívam a iniciatívam kráľovnej Sanchy Mallorskej sa mesto rozrástlo a uskutočnili sa mnohé práce.Robertovým pôvodným nápadom bolo postaviť pre seba a svoj dvor palác na vrchu Vomero, ktorý mal slúžiť ako letné sídlo. Dňa 7. júla 1329 svojím dekrétom nariadil Giovannimu de Haya, regentovi kúrie vikariátu, aby postavil Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... V dekréte boli uvedené presné pokyny, kedy a ako sa má stavať, ako aj maximálne výdavky (tisíc uncí zlata, suma, ktorá sa však ukázala byť oveľa nižšia, ako bolo potrebné). V ďalších dokumentoch týkajúcich sa stavby sa už nepoužíval termín "palatium", ale "castrum", teda hrad: strategická pevnosť vzhľadom na svoju polohu, jednak na obranu Maschia, úplne vystaveného útoku zhora, jednak na kontrolu mesta.