Говорят, что решение о строительстве замка на вершине холма Вомеро было принято Робертом Анжуйским в сентябре 1328 года по случаю посещения только что построенного Чартерхауса Сан-Мартино. Роберт следил и лично контролировал ход работ на строительных площадках королевства. Его часто сопровождал его сын Карл, герцог Калабрии, наследник престола, который не переживет своего отца, у них были разные представления об архитектурных стилях. На самом деле, Карл был чувствителен к новым течениям, которые, отказавшись от голой и существенной францисканской архитектуры, опирались на традиционные модели классической готики и карфузианской архитектуры. В 1325 году Карл способствовал строительству Чартерхауса Сан-Мартино, ныне музея Сан-Мартино. Король Неаполя, находящийся в вечной войне с сицилийцами, возглавлял партию итальянских гвельфов и гарантировал церкви ежегодную феодальную дань Чинеи: его дед Карл получил королевство от церкви в рамках антиимперской функции, избил и казнил Коррадино Швабского на площади Пьяцца дель Меркато. Одним словом, Анжуйский дом в то время представлял собой сильного и верного союзника, гарантирующего временную власть папства. После переноса столицы из Палермо в Неаполь, которого желал его дед Карл (но Фридрих II Швабский уже выбрал неаполитанский город, чтобы основать там в 1225 году первый университет королевства), на Сицилии вспыхнула революция Весперы, положившая конец королевству, основанному Рожером II Альтавильским и процветавшему при нормандских и швабских королях. С этого момента Неаполь и Палермо претендовали на всю территорию от Трента до Мальты, и каждое из двух королевств называлось "Сицилийским" (отсюда более поздний термин "две Сицилии"). Война, которая длилась 90 лет, сменяя друг друга, не выявила победителя, поскольку ни у одного из соперников не хватило сил одержать верх над другим. Тем не менее, Роберт Анжуйский был хорошим королем для Неаполя: благодаря его инициативам и инициативам королевы Санчи Майоркской, город вырос, были проведены многочисленные работы.Первоначальной идеей Роберта было построить дворец на вершине Вомеро для себя и своего двора, который должен был использоваться в качестве летней резиденции. 7 июля 1329 года своим указом он приказал Джованни де Хайя, регенту курии викариата, построить дворец на вершине горы Санкти Эрасми в Неаполиме, для проживания всех желающих и других лиц в рамках курии... В указе были даны точные указания о том, когда и как строить, а также о максимальных расходах (тысяча унций золота, сумма, которая, однако, оказалась намного меньше, чем требовалось). В последующих документах, связанных со строительством, термин "palatium" больше не использовался, а использовался "castrum", или замок: стратегическая крепость благодаря своему положению, как для защиты Маскио, полностью подверженного нападению сверху, так и для контроля над городом.