Sagt er að ákvörðun Róberts af Anjou um að reisa kastala á toppi Vomero-hæðarinnar hafi verið tekin í september 1328 í tilefni af heimsókn hans til Certosa di San Martino, rétt fyrir neðan hana og enn í byggingu. Roberto fylgdist persónulega með og hafði umsjón með vinnunni á byggingarsvæðum konungsríkisins. Hann var oft í fylgd með syni sínum Carlo, hertoga af Kalabríu, erfingi hásætis sem lifði ekki föður sinn, sem hafði mismunandi hugmyndir um byggingarstíla. Carlo var í raun viðkvæmur fyrir nýju straumunum sem, eftir að hafa yfirgefið hinn nakta og nauðsynlega fransiskanska arkitektúr, vísaði til hefðbundinna fyrirmynda klassískrar gotnesku og Karþusar. Árið 1325 hafði Carlo verið hvatamaður að byggingu Certosa di San Martino, í dag San Martino-safnið. Konungur Napólí, í eilífu stríði við Sikileyjar, stýrði ítalska Guelph-flokknum og tryggði kirkjunni árlega feudal skatt Kínverja: afi hans Charles hafði fengið konungsríkið frá kirkjunni í and-keisaraveldi, hann hafði barið og hafði Corradin tók Swabia af lífi á markaðstorgi. Í stuttu máli, húsið í Anjou táknaði á þeim tíma sterka og trúa bandamanninn til að tryggja stundlegt vald páfadómsins. Eftir að höfuðborgin var flutt frá Palermo til Napólí, eftirlýstur af afa hans Carlo (en Friðrik II af Swabia hafði þegar valið Napólíska borgina til að stofna fyrsta háskóla konungsríkisins árið 1225) hafði bylting vesperanna brotist út á Sikiley, binda enda á konungsríkið sem Roger II frá Altavilla stofnaði og dafnaði með Norman og Swabian konungum. Síðan þá gerðu bæði Napólí og Palermo tilkall til allt landsvæðið sem fór frá Trento til Möltu og hvert konungsríki tveggja var kallað "af Sikiley" (þess vegna síðara hugtakið "tvær Sikileyjar"). Stríðið, sem stóð yfir í 90 ár og stóð yfir í 90 ár, sá engan sigurvegara, því enginn keppinautanna hafði styrk til að sigra hinn. Roberto d'Angiò var hins vegar góður konungur fyrir Napólí: þökk sé frumkvæði hans og Sancha drottningar á Majorka, borgin óx og fjölmörg verk voru unnin.Upphafleg hugmynd Roberto var að byggja höll fyrir sig og hirð sína á toppi Vomero, til að nota sem sumarbústað. Þann 7. júlí 1329, með skipun sinni, fyrirskipaði hann Giovanni de Haya, höfðingja Curia of the Vicaria, að reisa Palatium í toppfjallinu Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... Í skipun voru gefin nákvæm fyrirmæli um byggingartíma og byggingaraðferðir, um hámarkskostnað (þúsund aura af gulli, upphæð sem þó reyndist mun lægri en nauðsynlegt var). Í síðari skjölum sem tengdust byggingunni var ekki lengur talað um palatium heldur um kastala, þ. borgarinnar.
