Λέγεται ότι η απόφαση του Ροβέρτου του Ανζού να χτίσει ένα κάστρο στην κορυφή του λόφου Vomero ελήφθη τον Σεπτέμβριο του 1328 με την ευκαιρία της επίσκεψής του στη χάρτα του San Martino, η οποία ήταν μόλις υπό κατασκευή. Ο Ροβέρτος ακολούθησε και επέβλεπε προσωπικά τις εργασίες στα εργοτάξια του Βασιλείου. Συχνά τον συνόδευε ο γιος του Κάρολος, δούκας της Καλαβρίας, ο διάδοχος του θρόνου που δεν θα επιβίωνε του πατέρα του, ο οποίος είχε διαφορετικές ιδέες για τους αρχιτεκτονικούς ρυθμούς. Πράγματι, ο Κάρολος ήταν ευαίσθητος στα νέα ρεύματα που, εγκαταλείποντας τη γυμνή και ουσιαστική φραγκισκανική αρχιτεκτονική, στηρίχθηκαν στα παραδοσιακά πρότυπα της κλασικής γοτθικής και της καρθουσιανής αρχιτεκτονικής. Το 1325, ο Κάρολος είχε προωθήσει την κατασκευή της Καρτερίας του Σαν Μαρτίνο, του σημερινού Μουσείου του Σαν Μαρτίνο. Ο βασιλιάς της Νάπολης, σε διαρκή πόλεμο με τους Σικελούς, ηγείτο του κόμματος των Ιταλών Γκελφ και εγγυήθηκε στην Εκκλησία τον ετήσιο φεουδαρχικό φόρο της Χινέας: ο παππούς του Κάρολος είχε αποκτήσει το βασίλειο από την Εκκλησία σε μια αντι-ιμπεριαλιστική λειτουργία και είχε νικήσει και εκτελέσει τον Κοραντίνο της Σουαβίας στην Piazza del Mercato. Εν ολίγοις, ο Οίκος των Ανζού αντιπροσώπευε εκείνη την εποχή τον ισχυρό και πιστό σύμμαχο που εγγυόταν την κοσμική εξουσία του Παπισμού. Μετά τη μεταφορά της πρωτεύουσας από το Παλέρμο στη Νάπολη, την οποία επιθυμούσε ο παππούς του Κάρολος (αλλά ο Φρειδερίκος Β΄ της Σουαβίας είχε ήδη επιλέξει τη ναπολιτάνικη πόλη για να ιδρύσει εκεί το πρώτο πανεπιστήμιο του Βασιλείου το 1225), η Επανάσταση του Εσπερινού είχε ξεσπάσει στη Σικελία, βάζοντας τέλος στο Βασίλειο που ίδρυσε ο Ρογήρος Β΄ της Ατταβίλλης και ευημερούσε υπό τους Νορμανδούς και τους Σουαβούς βασιλείς. Από τότε, τόσο η Νάπολη όσο και το Παλέρμο διεκδικούσαν ολόκληρη την επικράτεια από το Τρεντ έως τη Μάλτα, και καθένα από τα δύο βασίλεια ονομαζόταν "της Σικελίας" (εξ ου και ο μεταγενέστερος όρος "δύο Σικελίες"). Ο πόλεμος, ο οποίος διήρκεσε 90 χρόνια σε εναλλασσόμενες φάσεις, δεν ανέδειξε νικητή, διότι κανένας από τους δύο διεκδικητές δεν είχε τη δύναμη να επικρατήσει του άλλου. Ο Ροβέρτος του Ανζού υπήρξε ωστόσο ένας καλός βασιλιάς για τη Νάπολη: χάρη στις πρωτοβουλίες του ίδιου και της βασίλισσας Σάντσα της Μαγιόρκα, η πόλη αναπτύχθηκε και πραγματοποιήθηκαν πολυάριθμα έργα.Η αρχική ιδέα του Ροβέρτου ήταν να χτίσει ένα παλάτι στην κορυφή του Βόμερο για τον ίδιο και την αυλή του, το οποίο θα χρησιμοποιούνταν ως θερινή κατοικία. Στις 7 Ιουλίου 1329, με διάταγμά του, διέταξε τον Giovanni de Haya, αντιβασιλέα της Curia του Vicariate, να χτίσει ένα Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... Στο διάταγμα δίνονταν ακριβείς οδηγίες σχετικά με το πότε και πώς έπρεπε να χτιστεί, καθώς και σχετικά με τη μέγιστη δαπάνη (χίλιες ουγγιές χρυσού, ποσό που ωστόσο αποδείχθηκε πολύ μικρότερο από αυτό που χρειαζόταν). Στα μεταγενέστερα έγγραφα που αφορούσαν την οικοδόμηση, δεν χρησιμοποιούνταν πλέον ο όρος "palatium", αλλά "castrum", δηλαδή Κάστρο: ένα στρατηγικό φρούριο λόγω της θέσης του, τόσο για την άμυνα του Maschio, πλήρως εκτεθειμένου σε επιθέσεις από ψηλά, όσο και για τον έλεγχο της πόλης.