Állítólag Anjou Róbert 1328 szeptemberében, az éppen épülő San Martino-i Kartazián tett látogatása alkalmával döntött úgy, hogy várat épít a Vomero hegy tetején. Róbert követte és személyesen felügyelte a munkálatokat a királyság építési területein. Gyakran elkísérte őt fia, Károly, Calabria hercege, a trónörökös, aki nem élte túl apját, akinek más elképzelései voltak az építészeti stílusokról. Károly ugyanis érzékeny volt az új áramlatokra, amelyek a puszta és esszenciális ferences építészetet elhagyva a klasszikus gótika és a karthauzi építészet hagyományos modelljeire támaszkodtak. Károly 1325-ben támogatta a San Martino-i karta, a mai San Martino-i Múzeum építését. A szicíliaiakkal örökös háborúban álló nápolyi király állt az itáliai guelf párt élén, és garantálta az egyháznak az évi chineai feudális adót: Károly nagyapja császárellenes funkcióban szerezte meg a királyságot az egyháztól, és a Piazza del Mercatón megverette és kivégeztette Corradino svábot. Egyszóval az Anjou-ház akkoriban a pápaság világi hatalmát biztosító erős és hűséges szövetségest jelentette. A főváros Palermóból Nápolyba való áthelyezését követően, amelyet Károly nagyapja kívánt (de II. Frigyes sváb király már 1225-ben a nápolyi várost választotta, hogy ott alapítsa meg a Királyság első egyetemét), Szicíliában kitört a Vesperás forradalom, amely véget vetett a II. altavillai Roger által alapított, a normann és sváb királyok alatt virágzó Királyságnak. Ettől kezdve Nápoly és Palermo egyaránt igényt tartott a Trenttől Máltáig terjedő teljes területre, és a két királyságot "szicíliai" királyságnak nevezték (innen a későbbi "két Szicília" kifejezés). A 90 évig tartó, egymást váltó szakaszokban zajló háborúnak nem volt győztese, mivel egyik félnek sem volt elég ereje ahhoz, hogy a másik fölé kerekedjen. Anjou Róbert mindazonáltal jó király volt Nápoly számára: az ő és Sancha mallorcai királyné kezdeményezéseinek köszönhetően a város növekedett, és számos építkezés valósult meg.Róbert eredeti elképzelése az volt, hogy a Vomero csúcsán palotát építtet magának és udvarának, amelyet nyári rezidenciaként használna. 1329. július 7-én rendeletével utasította Giovanni de Haya-t, a Vikárius Kúria régensét, hogy építsen egy Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... A rendeletben pontos utasításokat adtak arra vonatkozóan, hogy mikor és hogyan kell építeni, valamint a maximális kiadásra (ezer uncia arany, amely összeg azonban jóval kevesebbnek bizonyult, mint amire szükség volt). Az építéssel kapcsolatos későbbi dokumentumokban már nem a "palatium" kifejezést használták, hanem a "castrum", azaz vár: stratégiai erődítmény volt, mivel a Maschio védelmében, a felülről érkező támadásoknak teljesen kitéve, és a város ellenőrzése alatt állt.