Räägitakse, et Anjou Roberti otsus ehitada loss Vomero mäe tippu võeti vastu 1328. aasta septembris, kui ta külastas San Martino kartaazhi, mis oli äsja ehitamisel. Robert jälgis ja jälgis isiklikult tööd kuningriigi ehitusplatsidel. Tihti saatis teda tema poeg Karl, Calabria hertsog, troonipärija, kes ei elanud oma isa üle, kellel olid arhitektuuristiilidest erinevad arusaamad. Tegelikult oli Karl tundlik uute voolude suhtes, mis, loobudes paljas ja olemuslikust frantsiskaani arhitektuurist, tuginesid klassikalise gooti ja kartuse arhitektuuri traditsioonilistele mudelitele. 1325. aastal oli Karl edendanud San Martino kartaazhi, praeguse San Martino muuseumi ehitamist. Napoli kuningas, kes oli Sitsiilia kuningaga pidevas sõjas, juhtis Itaalia guelfide parteid ja garanteeris kirikule iga-aastase feodaaltribuudi Chinea: tema vanaisa Karl oli saanud kuningriigi kirikult keisrivastases funktsioonis ning oli peksnud ja lasknud hukata Corradino Švaabimaa Piazza del Mercato väljakul. Lühidalt öeldes esindas Anjou maja tol ajal tugevat ja ustavat liitlast, kes tagas paavstiriigi ajalise võimu. Pärast pealinna viimist Palermost Napoli, mida soovis tema vanaisa Karl (kuid Švaabimaa Friedrich II oli juba 1225. aastal valinud Napoli linna, et rajada seal kuningriigi esimene ülikool), oli Sitsiilias puhkenud Vesperrevolutsioon, mis tegi lõpu Roger II Altavilla asutatud kuningriigile, mis õitses normannide ja švaablaste kuningate ajal. Sellest ajast alates nõudsid nii Napoli kui ka Palermo kogu territooriumi Trentist Maltani ning mõlemat kuningriiki nimetati "Sitsiilia kuningriigiks" (sellest ka hilisem nimetus "kaks Sitsiiliat"). Sõda, mis kestis 90 aastat vaheldumisi, ei näinud ühtegi võitjat, sest kummalgi poolel ei olnud jõudu teise üle võitu saavutada. Robert Anjou oli siiski Napoli jaoks hea kuningas: tänu tema ja kuninganna Sancha algatustele kasvas linn ja teostati arvukalt ehitustöid.Roberti esialgne idee oli ehitada endale ja oma õukonnale Vomero tippu palee, mida kasutataks suvise residentsina. 7. juulil 1329 käskis ta oma dekreediga Giovanni de Haya, vikaarikuuria regendi, ehitada Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... Dekreedis anti täpsed juhised selle kohta, millal ja kuidas ehitada, ning maksimaalsete kulutuste kohta (tuhat untsi kulda, summa, mis osutus siiski palju väiksemaks kui vaja oli). Hilisemates ehitusega seotud dokumentides ei kasutatud enam terminit "palatium", vaid "castrum" ehk linnus: strateegiline linnus, mis oli tänu oma asukohale nii Maschio kaitseks, mis oli täielikult avatud rünnakutele ülevalt alla, kui ka linna kontrollimiseks.
