Diz-se que a decisão de Robert de Anjou de construir um castelo no topo da colina de Vomero foi tomada em Setembro de 1328 por ocasião da sua visita à Casa Charter de San Martino, que tinha acabado de ser construída. Robert acompanhou e supervisionou pessoalmente os trabalhos nos estaleiros de construção do Reino. Era frequentemente acompanhado pelo seu filho Carlos, Duque da Calábria, o herdeiro ao trono que não sobreviveria ao seu pai, que tinha ideias diferentes sobre estilos arquitectónicos. De facto, Carlos era sensível às novas correntes que, abandonando a arquitectura nua e essencial franciscana, se baseavam nos modelos tradicionais da arquitectura clássica gótica e cartuca. Em 1325, Carlos tinha promovido a construção da Casa da Carta de San Martino, actualmente o Museu de San Martino. O Rei de Nápoles, em guerra perpétua com os sicilianos, dirigiu o partido Guelph italiano e garantiu à Igreja a homenagem feudal anual da Chinea: o seu avô Carlos tinha obtido o Reino da Igreja numa função anti-imperial, e tinha sido espancado e mandado executar o Corradino da Suábia na Piazza del Mercato. Em suma, a Casa de Anjou representava na altura o forte e fiel aliado garantindo o poder temporal do Papado. Após a transferência da capital de Palermo para Nápoles, desejada pelo seu avô Carlos (mas Frederico II da Suábia já tinha escolhido a cidade napolitana para estabelecer ali a primeira Universidade do Reino em 1225), a Revolução das Vésperas tinha estalado na Sicília, pondo fim ao Reino fundado por Roger II de Altavilla, e prosperou sob os reis normandos e suábios. A partir de então, tanto Nápoles como Palermo reclamaram todo o território de Trento a Malta, e cada um dos dois reinos foi chamado "da Sicília" (daí o termo mais recente "duas Sicílias"). A guerra, que durou 90 anos em fases alternadas, não viu nenhum vencedor, porque nenhum dos concorrentes tinha a força para prevalecer sobre o outro. Robert de Anjou foi contudo um bom rei para Nápoles: graças às suas iniciativas e às da Rainha Sancha de Maiorca, a cidade cresceu e foram realizadas numerosas obras.A ideia inicial de Robert era construir um palácio no cume do Vomero para si e para a sua corte, para ser utilizado como residência de Verão. A 7 de Julho de 1329, pelo seu decreto, ordenou a Giovanni de Haya, regente da Cúria do Vicariato, que construísse um Palácio no cume do Monte Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... No decreto, foram dadas instruções precisas sobre quando e como construir, e sobre a despesa máxima (mil onças de ouro, uma soma que, no entanto, provou ser muito inferior ao que era necessário). Em documentos posteriores relativos ao edifício, o termo "palatium" já não era utilizado, mas sim "castrum", ou Castelo: uma fortaleza estratégica devido à sua posição, tanto em defesa do Maschio, completamente exposta a ataques vindos de cima, como no controlo da cidade.
