Det sägs att Robert av Anjou fattade beslutet att bygga ett slott på toppen av Vomero-kullen i september 1328 när han besökte stadskyrkan San Martino, som just hade börjat byggas. Robert följde med och övervakade personligen arbetet på byggarbetsplatserna i kungariket. Han åtföljdes ofta av sin son Karl, hertig av Kalabrien, tronarvingen som inte skulle överleva sin far, som hade olika idéer om arkitektoniska stilar. Karl var faktiskt känslig för de nya strömningarna som, efter att ha övergivit den nakna och essentiella franciskanska arkitekturen, drog sig tillbaka på de traditionella modellerna för klassisk gotisk och kartusiansk arkitektur. År 1325 hade Karl främjat byggandet av stadskyrkan San Martino, som nu är San Martino-museet. Kungen av Neapel, som var i evigt krig med sicilianarna, ledde det italienska guelphpartiet och garanterade kyrkan den årliga feodala tributen Chinea: hans farfar Karl hade fått kungariket från kyrkan i en antiimperial funktion och hade slagit och låtit avrätta Corradino av Schwaben på Piazza del Mercato. Kort sagt representerade huset Anjou vid den tiden den starka och trogna allierade som garanterade påvedömets världsliga makt. Efter att huvudstaden flyttats från Palermo till Neapel, vilket hans farfar Karl hade önskat (men Fredrik II av Schwaben hade redan valt den napolitanska staden för att där inrätta rikets första universitet 1225), hade Vesperrevolutionen brutit ut på Sicilien, vilket satte stopp för det rike som grundats av Roger II av Altavilla och som blomstrade under de normandiska och schwabiska kungarna. Från och med då gjorde både Neapel och Palermo anspråk på hela territoriet från Trent till Malta, och vart och ett av de två kungadömena kallades "av Sicilien" (därav den senare termen "två Sicilier"). Kriget, som varade i 90 år i omväxlande faser, såg ingen segrare, eftersom ingen av de båda utmanarna hade styrka nog att segra över den andra. Robert av Anjou var ändå en bra kung för Neapel: tack vare hans och drottning Sancha av Mallorcas initiativ växte staden och många arbeten genomfördes.Roberts ursprungliga idé var att bygga ett palats på toppen av Vomero för sig själv och sitt hov, som skulle användas som sommarresidens. Den 7 juli 1329 beordrade han genom sitt dekret Giovanni de Haya, regent för vicariatets curia, att bygga ett Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... I dekretet gavs exakta anvisningar om när och hur man skulle bygga och om den maximala utgiften (tusen uns guld, en summa som dock visade sig vara långt mindre än vad som behövdes). I senare dokument som rörde byggandet användes inte längre termen "palatium" utan "castrum", eller slott: en strategisk fästning på grund av dess läge, både för att försvara Maschio, som var helt utsatt för angrepp uppifrån, och för att kontrollera staden.