On raconte que la décision de Robert d'Anjou de construire un château au sommet de la colline de Vomero a été prise en septembre 1328 à l'occasion de sa visite de la chartreuse de San Martino, qui venait d'être construite. Robert a suivi et supervisé personnellement les travaux dans les chantiers du Royaume. Il était souvent accompagné de son fils Charles, duc de Calabre, l'héritier du trône qui ne survivra pas à son père, qui avait des idées différentes sur les styles architecturaux. En effet, Charles est sensible aux nouveaux courants qui, abandonnant l'architecture franciscaine dépouillée et essentielle, s'inspirent des modèles traditionnels du gothique classique et de la chartreuse. En 1325, Charles avait été le promoteur de la construction de la chartreuse de San Martino, aujourd'hui le musée de San Martino. Le roi de Naples, en guerre perpétuelle avec les Siciliens, dirigeait le parti guelfe italien et garantissait à l'Église le tribut féodal annuel de Chinea : son grand-père Charles avait obtenu le royaume de l'Église dans une fonction anti-impériale, et avait battu et fait exécuter Corradino de Souabe sur la Piazza del Mercato. En bref, la Maison d'Anjou représentait à l'époque l'allié fort et fidèle garantissant le pouvoir temporel de la papauté. Après le transfert de la capitale de Palerme à Naples, voulu par son grand-père Charles (mais Frédéric II de Souabe avait déjà choisi la ville napolitaine pour y établir la première université du Royaume en 1225), la Révolution des Vêpres avait éclaté en Sicile, mettant fin au Royaume fondé par Roger II d'Altavilla, et prospéré sous les rois normands et souabes. À partir de ce moment, Naples et Palerme revendiquent toutes deux l'ensemble du territoire allant de Trente à Malte, et chacun des deux royaumes est appelé "de Sicile" (d'où le terme ultérieur de "deux Sicile"). La guerre, qui a duré 90 ans en phases alternées, n'a pas connu de vainqueur, car aucun des belligérants n'avait la force de l'emporter sur l'autre. Robert d'Anjou fut néanmoins un bon roi pour Naples : grâce à ses initiatives et à celles de la reine Sancha de Majorque, la ville se développa et de nombreux travaux furent réalisés.
L'idée initiale de Robert était de construire un palais au sommet du Vomero pour lui-même et sa cour, qui servirait de résidence d'été. Le 7 juillet 1329, par décret, il ordonna à Giovanni de Haya, régent de la Curie du Vicariat, de construire un Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... Dans le décret, des instructions précises étaient données sur le moment et la manière de construire, ainsi que sur la dépense maximale (mille onces d'or, une somme qui s'est toutefois avérée bien inférieure à ce qui était nécessaire). Dans les documents ultérieurs relatifs à l'édifice, le terme "palatium" n'est plus utilisé, mais "castrum", ou château : une forteresse stratégique en raison de sa position, à la fois pour défendre le Maschio, complètement exposé aux attaques par le haut, et pour contrôler la ville.