O stavbě hradu na vrcholu kopce Vomero prý rozhodl Robert z Anjou v září 1328 při příležitosti své návštěvy právě budované charty v San Martinu. Robert sledoval a osobně dohlížel na práce na stavbách v království. Často ho doprovázel jeho syn Karel, vévoda kalábrijský, následník trůnu, který svého otce nepřežije a který měl odlišné představy o architektonických stylech. Karel totiž citlivě vnímal nové proudy, které se po opuštění holé a zásadní františkánské architektury vracely k tradičním vzorům klasické gotiky a kartuziánské architektury. V roce 1325 Karel podpořil výstavbu charvátského domu San Martino, dnešního Muzea San Martino. Neapolský král, který byl ve věčné válce se Siciliány, stál v čele italské guelfské strany a zaručoval církvi každoroční feudální daň Chinea: jeho děd Karel získal království od církve v protiimperiální funkci a nechal porazit a popravit Corradina Švábského na náměstí Piazza del Mercato. Rod Anjou zkrátka v té době představoval silného a věrného spojence zaručujícího světskou moc papežství. Po přenesení hlavního města z Palerma do Neapole, které si přál jeho dědeček Karel (Fridrich II. Švábský si však již v roce 1225 vybral neapolské město, aby zde založil první univerzitu království), vypukla na Sicílii nešporská revoluce, která ukončila existenci království založeného Rogerem II. z Altavilly a prosperujícího za vlády normanského a švábského krále. Od té doby si Neapol i Palermo nárokovaly celé území od Trenta po Maltu a každé z obou království se nazývalo "sicilské" (odtud pozdější označení "dvě Sicílie"). Válka, která střídavě trvala 90 let, neměla vítěze, protože ani jeden ze soupeřů neměl sílu zvítězit nad tím druhým. Robert z Anjou byl nicméně pro Neapol dobrým králem: díky jeho iniciativám a iniciativám královny Sanchy z Mallorky se město rozrostlo a byly provedeny četné práce.Robertův původní nápad byl postavit na vrcholu Vomero palác pro sebe a svůj dvůr, který by sloužil jako letní sídlo. Svým dekretem ze 7. července 1329 nařídil Giovannimu de Haya, regentu kurie vikariátu, aby postavil Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium.... V dekretu byly uvedeny přesné pokyny, kdy a jak stavět, a maximální výdaje (tisíc uncí zlata, což se však ukázalo jako mnohem méně, než bylo třeba). V pozdějších dokumentech týkajících se stavby se již nepoužíval termín "palatium", ale "castrum" neboli hrad: strategická pevnost vzhledem ke své poloze, jak na obranu Maschia, zcela vystaveného útoku shora, tak pod kontrolou města.