Cóntase que a decisión de Roberto de Anjou de construír un castelo no alto do outeiro do Vomero foi tomada en setembro de 1328 con motivo da súa visita á Certosa di San Martino, xusto debaixo dela e aínda en construción. Roberto seguiu e supervisaba persoalmente os traballos nas obras do Reino. Moitas veces ía acompañado polo seu fillo Carlo, duque de Calabria, o herdeiro ao trono que non sobreviviu ao seu pai, que tiña ideas diferentes sobre os estilos arquitectónicos. Carlo era de feito sensible ás novas correntes que, abandonando a arquitectura franciscana espida e esencial, remitíanse aos modelos tradicionais do gótico clásico e dos cartujos. En 1325, Carlo fora o promotor da construción da Certosa di San Martino, hoxe Museo de San Martino. O rei de Nápoles, en perpetua guerra cos sicilianos, encabezou o partido güelf italiano e garantiu á Igrexa o tributo feudal anual de Chinea: o seu avó Carlos obtivera o Reino da Igrexa en función antiimperial, golpeara e tiña Corradin executou a Suabia na praza do mercado. En definitiva, a casa de Anjou representaba no seu momento o aliado forte e fiel para garantir o poder temporal do Papado. Tras o traslado da capital de Palermo a Nápoles , querida polo seu avó Carlo (pero Federico II de Suabia xa elixira a cidade napolitana para establecer a primeira Universidade do Reino en 1225) estalara en Sicilia a Revolución das Vésperas , que xa tiña lugar na cidade napolitana. poñendo fin ao Reino fundado por Roger II de Altavilla, e prosperou cos reis normandos e suevos. Desde entón, tanto Nápoles como Palermo reclamaron todo o territorio que ía de Trento a Malta, e cada un dos dous Reinos foi chamado "de Sicilia" (de aí o termo posterior "dúas Sicilias"). A guerra, que se prolongou durante 90 anos, non viu vencedor, porque ningún dos contendentes tivo forzas para impoñerse ao outro. Roberto d'Angiò foi, sen embargo, un bo rei para Nápoles: grazas ás súas iniciativas e ás da raíña Sancha de Mallorca, a cidade medrou e realizáronse numerosas obras.A idea inicial de Roberto foi construír un pazo para el e para a súa corte no alto do Vomero, para ser utilizado como residencia de verán. O 7 de xullo de 1329, co seu decreto ordenou a Giovanni de Haya, rexente da Curia da Vicaria, a construción dun Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... No decreto, déronse instrucións precisas sobre os tempos e métodos de construción, sobre o gasto máximo (mil onzas de ouro, suma que, porén, resultou ser moi inferior á necesaria). En documentos posteriores relativos á edificación xa non se falaba dun palatium senón dun castrum, é dicir, dun castelo: fortaleza estratéxica pola súa posición, tanto na defensa do Male, totalmente exposto aos ataques desde arriba, como no control. da cidade.