Det siges, at Robert af Anjou i september 1328 besluttede at bygge et slot på toppen af Vomero-højen i forbindelse med sit besøg i San Martino-charteret, som netop var under opførelse. Robert fulgte med og førte personligt tilsyn med arbejdet på byggepladserne i kongeriget. Han var ofte ledsaget af sin søn Karl, hertug af Calabrien, tronarvingen, som ikke skulle overleve sin far, og som havde forskellige idéer om arkitektoniske stilarter. Charles var nemlig følsom over for de nye strømninger, der, idet han opgav den nøgne og essentielle franciskanske arkitektur og tog udgangspunkt i de traditionelle modeller fra den klassiske gotiske og kartuzianske arkitektur. I 1325 havde Karl støttet opførelsen af charterhuset i San Martino, som nu er San Martino-museet. Kongen af Napoli, der var i evig krig med sicilianerne, stod i spidsen for det italienske guelferparti og garanterede kirken den årlige feudale tribut på Chinea: hans bedstefar Karl havde fået kongeriget fra kirken i en antiimperial funktion, og han havde slået og ladet Corradino af Schwaben henrette på Piazza del Mercato. Kort sagt repræsenterede huset Anjou på det tidspunkt den stærke og trofaste allierede, der garanterede pavedømmets timelige magt. Efter flytningen af hovedstaden fra Palermo til Napoli, som hans bedstefar Karl havde ønsket (men Frederik II af Schwaben havde allerede valgt den napolitanske by for at oprette rigets første universitet der i 1225), var Vesperrevolutionen brudt ud på Sicilien og havde sat en stopper for det kongerige, der var grundlagt af Roger II af Altavilla, og som blomstrede under de normanniske og svabiske konger. Fra da af gjorde både Napoli og Palermo krav på hele området fra Trent til Malta, og hvert af de to kongeriger blev kaldt "af Sicilien" (deraf den senere betegnelse "to Sicilier"). Krigen, der varede 90 år i skiftende faser, havde ingen sejrherre, fordi ingen af de to stridende parter havde styrke nok til at sejre over den anden. Robert af Anjou var ikke desto mindre en god konge for Napoli: takket være hans og dronning Sancha af Mallorcas initiativer voksede byen, og der blev udført talrige arbejder.Roberts oprindelige idé var at bygge et palads på toppen af Vomero til sig selv og sit hof, som skulle bruges som sommerresidens. Den 7. juli 1329 beordrede han ved dekret Giovanni de Haya, regent for vicariatets kurie, til at bygge et Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... I dekretet blev der givet præcise anvisninger om, hvornår og hvordan der skulle bygges, og om de maksimale udgifter (tusind ounces guld, et beløb, der dog viste sig at være langt mindre end det nødvendige). I de efterfølgende dokumenter vedrørende byggeriet blev der ikke længere anvendt udtrykket "palatium", men "castrum", dvs. slot: en strategisk vigtig fæstning på grund af dens placering, både til forsvar af Maschio, der var fuldstændig udsat for angreb ovenfra, og til kontrol af byen.
