Se dice que la decisión de Roberto de Anjou de construir un castillo en la cima de la colina de Vomero se tomó en septiembre de 1328 con motivo de su visita a la cartuja de San Martino, que acababa de ser construida. Robert siguió y supervisó personalmente los trabajos en las obras del Reino. A menudo le acompañaba su hijo Carlos, duque de Calabria, el heredero al trono que no sobreviviría a su padre, que tenía ideas diferentes sobre los estilos arquitectónicos. De hecho, Carlos fue sensible a las nuevas corrientes que, abandonando la desnuda y esencial arquitectura franciscana, volvieron a los modelos tradicionales del gótico clásico y de la arquitectura cartujana. En 1325, Carlos había sido el promotor de la construcción de la Cartuja de San Martino, hoy Museo de San Martino. El rey de Nápoles, en guerra perpetua con los sicilianos, encabezaba el partido güelfo italiano y garantizaba a la Iglesia el tributo feudal anual de Chinea: su abuelo Carlos había obtenido el reino de la Iglesia en función antiimperial, y había vencido y hecho ejecutar a Corradino de Suabia en la plaza del Mercato. En definitiva, la Casa de Anjou representaba en ese momento el aliado fuerte y fiel que garantizaba el poder temporal del Papado. Tras el traslado de la capital de Palermo a Nápoles, deseado por su abuelo Carlos (pero Federico II de Suabia ya había elegido la ciudad napolitana para fundar allí la primera universidad del Reino en 1225), había estallado en Sicilia la Revolución de las Vísperas, que puso fin al Reino fundado por Roger II de Altavilla, y que prosperó bajo los reyes normandos y suevos. A partir de entonces, tanto Nápoles como Palermo reclamaron todo el territorio desde Trento hasta Malta, y cada uno de los dos reinos fue llamado "de Sicilia" (de ahí el posterior término "dos Sicilias"). La guerra, que duró 90 años en fases alternas, no vio ningún vencedor, porque ninguno de los contendientes tenía la fuerza para imponerse al otro. Roberto de Anjou fue sin embargo un buen rey para Nápoles: gracias a sus iniciativas y a las de la reina Sancha de Mallorca, la ciudad creció y se realizaron numerosas obras.
La idea inicial de Roberto era construir un palacio en la cima del Vomero para él y su corte, como residencia de verano. El 7 de julio de 1329, mediante su decreto, ordenó a Giovanni de Haya, regente de la Curia del Vicariato, la construcción de un Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... En el decreto se daban instrucciones precisas sobre cuándo y cómo construir, y sobre el gasto máximo (mil onzas de oro, una suma que, sin embargo, resultó ser muy inferior a la necesaria). En los documentos posteriores relacionados con el edificio, ya no se utiliza el término "palatium", sino "castrum", o castillo: una fortaleza estratégica debido a su posición, tanto en defensa del Maschio, completamente expuesto a los ataques desde arriba, como en el control de la ciudad.