Es heißt, dass Robert von Anjou im September 1328 anlässlich seines Besuchs in der Kartause von San Martino, die sich gerade im Bau befand, den Beschluss fasste, auf dem Gipfel des Vomero-Hügels eine Burg zu errichten. Robert verfolgte und überwachte persönlich die Arbeiten auf den Baustellen des Königreichs. Er wurde oft von seinem Sohn Karl, Herzog von Kalabrien, dem Thronfolger, der seinen Vater nicht überleben würde, begleitet, der andere Vorstellungen von Architekturstilen hatte. In der Tat war Karl sensibel für die neuen Strömungen, die unter Abkehr von der nüchternen und essentiellen franziskanischen Architektur zu den traditionellen Modellen der klassischen Gotik und der Kartäuserarchitektur zurückkehrten. Im Jahr 1325 hatte Karl den Bau der Kartause von San Martino, dem heutigen Museum von San Martino, gefördert. Der König von Neapel, der sich im ständigen Krieg mit den Sizilianern befand, stand an der Spitze der italienischen Guelfenpartei und garantierte der Kirche den jährlichen Feudaltribut von Chinea: Sein Großvater Karl hatte das Königreich von der Kirche in einer anti-imperialen Funktion erhalten und Corradino von Schwaben geschlagen und auf der Piazza del Mercato hinrichten lassen. Kurzum, das Haus Anjou war zu jener Zeit der starke und treue Verbündete, der die weltliche Macht des Papsttums garantierte. Nach der von seinem Großvater Karl gewünschten Verlegung der Hauptstadt von Palermo nach Neapel (Friedrich II. von Schwaben hatte jedoch bereits die neapolitanische Stadt gewählt, um dort 1225 die erste Universität des Königreichs zu gründen) war in Sizilien die Vesperrevolution ausgebrochen, die dem von Roger II. von Altavilla gegründeten Königreich ein Ende bereitete und unter den normannischen und schwäbischen Königen zur Blüte führte. Von da an beanspruchten sowohl Neapel als auch Palermo das gesamte Gebiet von Trient bis Malta für sich, und jedes der beiden Königreiche wurde "von Sizilien" genannt (daher die spätere Bezeichnung "zwei Sizilien"). Der Krieg, der 90 Jahre lang in wechselnden Phasen andauerte, kannte keinen Sieger, da keiner der beiden Kontrahenten die Kraft hatte, sich gegen den anderen durchzusetzen. Robert von Anjou war jedoch ein guter König für Neapel: dank seiner Initiativen und der von Königin Sancha von Mallorca wuchs die Stadt und es wurden zahlreiche Bauwerke errichtet.
Roberts ursprüngliche Idee war es, auf dem Gipfel des Vomero einen Palast für sich und seinen Hofstaat zu bauen, der als Sommerresidenz dienen sollte. Am 7. Juli 1329 ordnete er per Dekret an, dass Giovanni de Haya, Regent der Kurie des Vikariats, ein Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium errichten sollte... In dem Erlass wurden genaue Anweisungen gegeben, wann und wie gebaut werden sollte und wie hoch die Ausgaben maximal sein durften (eintausend Unzen Gold, eine Summe, die jedoch weit unter dem Bedarf lag). In späteren Dokumenten, die sich auf das Gebäude beziehen, wird nicht mehr der Begriff "palatium" verwendet, sondern "castrum", d.h. Schloss: eine strategische Festung aufgrund ihrer Lage, sowohl zur Verteidigung des Maschio, der Angriffen von oben völlig ausgesetzt war, als auch zur Kontrolle der Stadt.