Robert Anžujski naj bi se za gradnjo gradu na vrhu hriba Vomero odločil septembra 1328, ko je obiskal pravkar zgrajeni grad San Martino. Robert je spremljal in osebno nadzoroval dela na gradbiščih v kraljestvu. Pogosto ga je spremljal njegov sin Karel, vojvoda kalabrijski, prestolonaslednik, ki ne bo preživel svojega očeta, ki je imel različne zamisli o arhitekturnih slogih. Karel je bil namreč občutljiv za nove tokove, ki so se po opustitvi gole in bistvene frančiškanske arhitekture vračali k tradicionalnim vzorcem klasične gotske in kartuzijanske arhitekture. Leta 1325 je Karel spodbudil gradnjo listine v San Martinu, v kateri je zdaj muzej San Martino. Neapeljski kralj, ki je bil v nenehni vojni s Sicilijanci, je vodil italijansko gvelfovsko stranko in Cerkvi zagotavljal letni fevdalni davek v višini Čineje: njegov ded Karel je v protiimperialni funkciji od Cerkve pridobil kraljestvo, na trgu Piazza del Mercato pa pokončal in dal usmrtiti Corradina Švabskega. Skratka, rodbina Anžujcev je v tistem času predstavljala močnega in zvestega zaveznika, ki je zagotavljal časno oblast papeštva. Po prenosu prestolnice iz Palerma v Neapelj, ki ga je želel njegov ded Karel (vendar je Friderik II. Švabski že leta 1225 izbral neapeljsko mesto in tam ustanovil prvo univerzo kraljestva), je na Siciliji izbruhnila večerniška revolucija, ki je končala kraljestvo, ki ga je ustanovil Roger II. iz Altaville in je pod normanskimi in švabskimi kralji cvetelo. Od takrat sta si Neapelj in Palermo lastila celotno ozemlje od Trenta do Malte, vsako od obeh kraljestev pa se je imenovalo "sicilijansko" (od tod poznejši izraz "dve Siciliji"). Vojna, ki je v izmeničnih fazah trajala 90 let, ni imela zmagovalca, saj nobeden od nasprotnikov ni imel dovolj moči, da bi premagal drugega. Kljub temu je bil Robert Anžujski dober kralj za Neapelj: po njegovih pobudah in pobudah kraljice Sanche z Majorke je mesto raslo in izvedena so bila številna dela.Robertova prvotna zamisel je bila, da bi na vrhu Vomerja zgradil palačo zase in za svoj dvor, ki bi jo uporabljal kot poletno rezidenco. S svojim dekretom je 7. julija 1329 Giovanniju de Haya, regentu kurije vikariata, naročil, naj zgradi Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium ... V odloku so bila podana natančna navodila o tem, kdaj in kako graditi, ter o najvišjih izdatkih (tisoč unč zlata, znesek, ki pa se je izkazal za veliko manjšega od potrebnega). V poznejših dokumentih v zvezi z gradnjo se ni več uporabljal izraz "palatium", temveč "castrum" ali grad: strateška trdnjava zaradi svojega položaja, tako za obrambo Maschia, ki je bil popolnoma izpostavljen napadom od zgoraj, kot tudi za nadzor nad mestom.
