Se spune că decizia lui Robert de Anjou de a construi un castel pe vârful colinei Vomero a fost luată în septembrie 1328, cu ocazia vizitei sale la Carcasa San Martino, care tocmai se afla în construcție. Robert a urmărit și a supravegheat personal lucrările pe șantierele din regat. Adesea era însoțit de fiul său Charles, Duce de Calabria, moștenitorul tronului care nu-i va supraviețui tatălui său, care avea idei diferite în materie de stiluri arhitecturale. De fapt, Charles era sensibil la noile curente care, după ce abandonaseră arhitectura franciscană, goală și esențială, se întorceau la modelele tradiționale ale arhitecturii gotice clasice și carthusiene. În 1325, Charles a fost promotorul construcției Cartușei din San Martino, astăzi Muzeul din San Martino. Regele de Napoli, aflat în război perpetuu cu sicilienii, conducea partidul guelfilor italieni și garanta Bisericii tributul feudal anual de Chinea: bunicul său Carol obținuse Regatul de la Biserică într-o funcție anti-imperială și îl bătuse și îl executase pe Corradino de Suabia în Piazza del Mercato. Pe scurt, Casa de Anjou reprezenta la acea vreme aliatul puternic și fidel care garanta puterea temporală a papalității. În urma transferului capitalei de la Palermo la Napoli, dorit de bunicul său Carol (dar Frederic al II-lea de Suabia alesese deja orașul napoletan pentru a înființa acolo, în 1225, prima universitate a regatului), în Sicilia izbucnise Revoluția Vesperelor, care a pus capăt regatului fondat de Roger al II-lea de Altavilla și care a prosperat sub regii normanzi și suabi. Din acel moment, atât Napoli, cât și Palermo au revendicat întregul teritoriu de la Trent până la Malta, iar fiecare dintre cele două regate a fost numit "al Siciliei" (de unde și termenul ulterior de "două Sicilii"). Războiul, care a durat 90 de ani în faze alternative, nu a avut niciun învingător, deoarece niciunul dintre pretendenți nu a avut puterea de a se impune asupra celuilalt. Robert de Anjou a fost totuși un rege bun pentru Napoli: datorită inițiativelor sale și ale reginei Sancha de Majorca, orașul s-a dezvoltat și au fost realizate numeroase lucrări.Ideea inițială a lui Robert a fost de a construi un palat pe vârful Vomero pentru el și curtea sa, care să fie folosit ca reședință de vară. La 7 iulie 1329, prin decretul său, i-a ordonat lui Giovanni de Haya, regent al Curiei Vicariatului, să construiască un Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... În decret erau date instrucțiuni precise cu privire la momentul și modul de construcție, precum și la cheltuielile maxime (o mie de uncii de aur, sumă care s-a dovedit însă a fi mult mai mică decât era necesar). În documentele ulterioare referitoare la construcție, nu se mai folosea termenul de "palatium", ci de "castrum", adică castel: o fortăreață strategică datorită poziției sale, atât în apărarea Maschio, complet expusă atacurilor de sus, cât și în controlul orașului.
