Sinasabing ang desisyon ni Robert ng Anjou na magtayo ng isang kastilyo sa tuktok ng burol ng Vomero ay kinuha noong Setyembre 1328 sa okasyon ng kanyang pagbisita sa Certosa di San Martino, sa ibaba lamang nito at ginagawa pa rin. Personal na sinundan at pinangasiwaan ni Roberto ang gawain sa mga lugar ng pagtatayo ng Kaharian. Madalas niyang kasama ang kanyang anak na si Carlo, Duke ng Calabria, ang tagapagmana ng trono na hindi nakaligtas sa kanyang ama, na may iba't ibang ideya tungkol sa mga istilo ng arkitektura. Sa katunayan, si Carlo ay sensitibo sa mga bagong agos na, nang tinalikuran ang hubad at mahahalagang arkitektura ng Pransiskano, ay tumutukoy sa mga tradisyonal na modelo ng klasikong Gothic at ng mga Carthusian. Noong 1325, si Carlo ang naging tagapagtaguyod ng pagtatayo ng Certosa di San Martino, ngayon ang Museo ng San Martino. Ang hari ng Naples, sa walang hanggang digmaan sa mga Sicilian, ay pinamunuan ang Italian Guelph party at ginagarantiyahan ang Simbahan ng taunang pyudal na pagkilala ng Tsina: nakuha ng kanyang lolo na si Charles ang Kaharian mula sa Simbahan sa isang anti-imperial function, siya ay natalo at nagkaroon ng Pinatay ni Corradin ang Swabia sa palengke. Sa madaling salita, ang sambahayan ni Anjou ay kumakatawan noong panahong iyon ang malakas at tapat na kaalyado upang magarantiya ang temporal na kapangyarihan ng Papa. Kasunod ng paglipat ng kabisera mula Palermo patungong Naples, pinaghahanap ng kanyang lolo na si Carlo (ngunit pinili na ni Frederick II ng Swabia ang lungsod ng Neapolitan upang itatag ang unang Unibersidad ng Kaharian noong 1225) ang Vespers Revolution ay sumiklab sa Sicily, na naglagay ng wakas sa Kaharian na itinatag ni Roger II ng Altavilla, at umunlad kasama ng mga haring Norman at Swabian. Mula noon, parehong inangkin ng Naples at Palermo ang buong teritoryo na nagmula sa Trento hanggang Malta, at ang bawat isa sa dalawang Kaharian ay tinawag na "ng Sicily" (kaya't ang huling terminong "dalawang Sicily"). Ang digmaan, na tumagal nang 90 taon, ay walang nagwagi, dahil wala sa mga kalaban ang may lakas na manaig sa isa. Gayunpaman, si Roberto d'Angiò ay isang mabuting hari para sa Naples: salamat sa kanyang mga inisyatiba at sa mga inisyatiba ni Reyna Sancha ng Majorca, ang lungsod ay lumago at maraming mga gawain ang natupad.Ang unang ideya ni Roberto ay magtayo ng isang palasyo para sa kanyang sarili at sa kanyang hukuman sa tuktok ng Vomero, upang magamit bilang isang paninirahan sa tag-araw. Noong ika-7 ng Hulyo 1329, sa kanyang atas ay iniutos niya kay Giovanni de Haya, regent ng Curia ng Vicaria, ang pagtatayo ng isang Palatium sa summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... Sa utos, ang mga tumpak na tagubilin ay ibinigay sa mga oras at pamamaraan ng pagtatayo, sa pinakamataas na gastos (isang libong ounces ng ginto, isang kabuuan na, gayunpaman, napatunayang mas mababa kaysa kinakailangan). Sa kasunod na mga dokumento na may kaugnayan sa gusali, hindi na pinag-uusapan ang tungkol sa palatium kundi isang castrum, i.e. isang kastilyo: isang estratehikong kuta dahil sa posisyon nito, kapwa sa pagtatanggol sa Lalaki, ganap na nakalantad sa mga pag-atake mula sa itaas, at nasa kontrol. ng lungsod.