Er wordt gezegd dat het besluit van Robert van Anjou om een kasteel te bouwen op de top van de Vomero-heuvel in september 1328 werd genomen ter gelegenheid van zijn bezoek aan het Charterhouse van San Martino, dat net in aanbouw was. Robert volgde en hield persoonlijk toezicht op de werkzaamheden in de bouwplaatsen van het koninkrijk. Hij werd vaak vergezeld door zijn zoon Karel, hertog van Calabrië, de troonopvolger die zijn vader niet zou overleven, die andere ideeën had over bouwstijlen. Karel was namelijk gevoelig voor de nieuwe stromingen die, na de kale en essentiële franciscaanse architectuur te hebben verlaten, terugkeerden naar de traditionele modellen van de klassieke gotiek en de kartuizer architectuur. In 1325 had Karel de bouw bevorderd van het Charterhouse van San Martino, nu het Museum van San Martino. De koning van Napels, in eeuwige oorlog met de Sicilianen, stond aan het hoofd van de Italiaanse Welfenpartij en garandeerde de Kerk de jaarlijkse feodale schatting van Chinea: zijn grootvader Karel had het Koninkrijk van de Kerk verkregen in een anti-imperiale functie, en had Corradino van Zwaben geslagen en laten terechtstellen op het Piazza del Mercato. Kortom, het Huis van Anjou vertegenwoordigde destijds de sterke en trouwe bondgenoot die de wereldlijke macht van het pausdom garandeerde. Na de door zijn grootvader Karel gewenste verplaatsing van de hoofdstad van Palermo naar Napels (maar Frederik II van Zwaben had de Napolitaanse stad al gekozen om er in 1225 de eerste universiteit van het koninkrijk te stichten), was op Sicilië de Vespersrevolutie uitgebroken, die een einde maakte aan het door Roger II van Altavilla gestichte koninkrijk, dat onder de Normandische en Zwabische koningen bloeide. Vanaf dat moment maakten zowel Napels als Palermo aanspraak op het hele grondgebied van Trente tot Malta, en elk van de twee koninkrijken werd "van Sicilië" genoemd (vandaar de latere term "twee Siciliën"). De oorlog, die 90 jaar duurde in afwisselende fasen, kende geen overwinnaar, omdat geen van beide partijen de kracht had om over de ander te zegevieren. Robert van Anjou was niettemin een goede koning voor Napels: dankzij zijn initiatieven en die van koningin Sancha van Mallorca groeide de stad en werden talrijke werken uitgevoerd.Het eerste idee van Robert was om op de top van de Vomero een paleis te bouwen voor hemzelf en zijn hofhouding, als zomerresidentie. Op 7 juli 1329 gaf hij bij decreet opdracht aan Giovanni de Haya, regent van de Curie van het vicariaat, om een Palatium in summitate montanee Sancti Erasmi prope Neapolim te bouwen, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... In het decreet werden nauwkeurige instructies gegeven over wanneer en hoe te bouwen, en over de maximale uitgaven (duizend ons goud, een bedrag dat echter veel lager bleek te zijn dan wat nodig was). In latere documenten over de bouw werd de term "palatium" niet meer gebruikt, maar "castrum", of kasteel: een strategische vesting vanwege de ligging, zowel ter verdediging van de Maschio, volledig blootgesteld aan aanvallen van bovenaf, als ter controle van de stad.