Pasakojama, kad Robertas Anžu sprendimas statyti pilį ant Vomeros kalvos viršūnės buvo priimtas 1328 m. rugsėjį, jam apsilankius ką tik statomoje San Martino chartijoje. Robertas sekė ir asmeniškai prižiūrėjo darbus karalystės statybvietėse. Jį dažnai lydėdavo sūnus Karolis, Kalabrijos kunigaikštis, sosto įpėdinis, kuris tėvo nepergyvens, turėjęs skirtingas idėjas dėl architektūros stilių. Iš tiesų Karolis jautriai reagavo į naujas sroves, kurios, atsisakydamos plikos ir esminės pranciškonų architektūros, rėmėsi tradiciniais klasikinės gotikos ir kartūzų architektūros modeliais. 1325 m. Karolis paskatino San Martino chartijos rūmų, dabar San Martino muziejaus, statybą. Neapolio karalius, nuolat kariaujantis su siciliečiais, vadovavo Italijos gvelfų partijai ir garantavo Bažnyčiai metinę feodalinę Činės duoklę: jo senelis Karolis, atlikdamas antiimperinę funkciją, gavo karalystę iš Bažnyčios, sumušė ir liepė Piazza del Mercato aikštėje įvykdyti mirties bausmę Korradinui iš Švabijos. Trumpai tariant, Anžu rūmai tuo metu atstovavo stipriam ir ištikimam sąjungininkui, garantuojančiam popiežiaus laikinąją valdžią. Po sostinės perkėlimo iš Palermo į Neapolį, kurio pageidavo jo senelis Karolis (tačiau Frydrichas II Švabijos jau buvo pasirinkęs Neapolio miestą ir 1225 m. jame įkūrė pirmąjį karalystės universitetą), Sicilijoje kilo Vespero revoliucija, padariusi galą Rožero II Altavilio įkurtai karalystei, klestėjusiai valdant normanų ir Švabijos karaliams. Nuo tada tiek Neapolis, tiek Palermas pretendavo į visą teritoriją nuo Tridento iki Maltos, o kiekviena iš šių dviejų karalysčių buvo vadinama "Sicilijos" (iš čia ir vėlesnis terminas "dvi Sicilijos"). Karas, kuris pakaitomis truko 90 metų, neturėjo nugalėtojo, nes nė vienas iš pretendentų neturėjo pakankamai jėgų nugalėti kitą. Vis dėlto Robertas Anžu buvo geras karalius Neapoliui: jo ir karalienės Sančos Maljorkos iniciatyvų dėka miestas augo, buvo atlikta daugybė darbų.Iš pradžių Robertas sumanė Vomeros viršukalnėje pastatyti rūmus sau ir savo dvarui, kurie būtų naudojami kaip vasaros rezidencija. 1329 m. liepos 7 d. savo dekretu jis įsakė vikariato kurijos regentui Giovanni de Haya pastatyti Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... Dekrete buvo pateikti tikslūs nurodymai, kada ir kaip statyti, taip pat didžiausios išlaidos (tūkstantis uncijų aukso - suma, kuri, kaip paaiškėjo, buvo gerokai mažesnė nei reikėjo). Vėlesniuose su statyba susijusiuose dokumentuose buvo vartojamas nebe terminas "palatium", o "castrum", arba pilis: strateginė tvirtovė dėl savo padėties, nes ji gynė Maschio, visiškai apsaugotą nuo puolimo iš viršaus, ir kontroliavo miestą.