Es diu que la decisió de Robert d'Anjou de construir un castell al cim del turó Vomero es va prendre el setembre de 1328 amb motiu de la seva visita a la Certosa di San Martino, just a sota i encara en construcció. Roberto va seguir i supervisar personalment els treballs a les obres del Regne. Sovint l'acompanyava el seu fill Carlo, duc de Calàbria, l'hereu al tron que no va sobreviure al seu pare, que tenia idees diferents sobre els estils arquitectònics. De fet, Carlo era sensible als nous corrents que, havent abandonat la nua i essencial arquitectura franciscana, es referien als models tradicionals del gòtic clàssic i els cartoixans. El 1325, Carlo havia estat el promotor de la construcció de la Certosa di San Martino, avui Museu de San Martino. El rei de Nàpols, en guerra perpètua amb els sicilians, va encapçalar el partit Güelf italià i va garantir a l'Església el tribut feudal anual de Xina: el seu avi Carles havia obtingut el Regne de l'Església en funció antiimperial, havia colpejat i havia Corradin va executar Suàbia a la plaça del mercat. En definitiva, la casa d'Anjou representava aleshores l'aliat fort i fidel per garantir el poder temporal del Papat. Arran del trasllat de la capital de Palerm a Nàpols, desitjada pel seu avi Carlo (però Frederic II de Suàbia ja havia escollit la ciutat napolitana per establir la primera Universitat del Regne el 1225) la Revolució de les Vespres havia esclatat a Sicília, posant fi al Regne fundat per Roger II d'Altavilla, i prosperant amb els reis normands i suabes. Des de llavors, tant Nàpols com Palerm van reclamar tot el territori que anava de Trento a Malta, i cadascun dels dos Regnes va ser anomenat "de Sicília" (d'aquí el terme posterior "dues Sicílies"). La guerra, que es va allargar durant 90 anys, no va veure guanyador, perquè cap dels contendents va tenir la força per imposar-se a l'altre. Roberto d'Angiò va ser, però, un bon rei per a Nàpols: gràcies a les seves iniciatives ia les de la reina Santxa de Mallorca, la ciutat va créixer i es van realitzar nombroses obres.La idea inicial de Roberto va ser construir un palau per a ell i la seva cort al cim del Vomero, per ser utilitzat com a residència d'estiueig. El 7 de juliol de 1329, amb el seu decret va ordenar a Giovanni de Haya, regent de la Cúria de la Vicària, la construcció d'un Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... En el decret, es van donar instruccions precises sobre els temps i els mètodes de construcció, sobre la despesa màxima (mil unces d'or, una suma que, però, va resultar molt inferior a la necessària). En documents posteriors relatius a l'edifici, ja no es parlava d'un palatium sinó d'un castrum, és a dir, un castell: una fortalesa estratègica per la seva posició, tant en defensa del Male, totalment exposat als atacs des de dalt, com en control. de la ciutat.
