Stāsta, ka lēmumu par pils celtniecību Vomero kalna virsotnē Roberts Anžū pieņēmis 1328. gada septembrī, apmeklējot San Martino hartu, kas bija tikko uzcelta. Roberts sekoja un personīgi uzraudzīja darbus karalistes būvlaukumos. Viņu bieži pavadīja viņa dēls Čārlzs, Kalabrijas hercogs, troņa mantinieks, kurš nepārdzīvos savu tēvu un kuram bija atšķirīgas idejas par arhitektūras stiliem. Patiesībā Kārlis bija jūtīgs pret jaunajām strāvām, kas, atteikušās no kailās un būtiskās franciskāņu arhitektūras, atgriezās pie tradicionālajiem klasiskās gotikas un kartēziešu arhitektūras modeļiem. Kārlis 1325. gadā bija veicinājis Sanmartīno hartu mājas (tagad Sanmartīno muzejs) celtniecību. Neapoles karalis, kas atradās mūžīgā karā ar sicīliešiem, vadīja Itālijas Gvelfu partiju un garantēja Baznīcai ikgadējo feodālo nodevu Činejā: viņa vectēvs Kārlis bija ieguvis karalisti no Baznīcas, pildot pretimperiālo funkciju, un bija piekāvis un licis izpildīt nāvessodu Korradino no Švābijas Piazza del Mercato. Īsāk sakot, Anžu nams tajā laikā pārstāvēja spēcīgu un uzticamu sabiedroto, kas garantēja pāvesta laicīgo varu. Pēc galvaspilsētas pārcelšanas no Palermo uz Neapoli, ko vēlējās viņa vectēvs Kārlis (bet Švābijas Frīdrihs II jau bija izvēlējies Neapoles pilsētu, lai 1225. gadā tur nodibinātu pirmo karalistes universitāti), Sicīlijā bija sākusies Vespera revolūcija, kas pielika punktu Rodžera II Altavillas dibinātajai karalistei un uzplauka Normandijas un Švābijas karaļu laikā. Kopš tā laika gan Neapole, gan Palermo pretendēja uz visu teritoriju no Tridentas līdz Maltai, un katru no abām karalistēm sauca par Sicīlijas karalisti (no tā arī radās vēlākais apzīmējums "divas Sicīlijas"). Karā, kas pārmaiņus ilga 90 gadus, uzvarētāja nebija, jo nevienam no pretiniekiem nebija spēka gūt pārsvaru pār otru. Tomēr Roberts Anžū bija labs karalis Neapolei: pateicoties viņa un Maljorkas karalienes Sančas iniciatīvām, pilsēta attīstījās un tika veikti daudzi darbi.Sākotnējā Roberta ideja bija uzcelt sev un savai galma galmam pili Vomeras kalna virsotnē, ko izmantotu kā vasaras rezidenci. Ar 1329. gada 7. jūlija dekrētu viņš pavēlēja vikariāta kūrijas regentam Džovanni de Haijai uzcelt Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium ... Dekrētā bija doti precīzi norādījumi par to, kad un kā būvēt, kā arī par maksimālajiem izdevumiem (tūkstoš unču zelta - summa, kas tomēr izrādījās daudz mazāka par nepieciešamo). Turpmākajos ar būvniecību saistītajos dokumentos vairs nelietoja terminu "palatium", bet gan "castrum" jeb pils: stratēģisks cietoksnis, jo tā atrašanās vieta bija gan Maschio, kas bija pilnībā pakļauta uzbrukumam no augšas, gan pilsētas kontrolei.
