Кажуть, що рішення про будівництво замку на вершині пагорба Вомеро Роберт Анжуйський прийняв у вересні 1328 року під час візиту до замку Сан-Мартіно, який саме будувався. Роберт слідкував і особисто наглядав за роботами на будівельних майданчиках королівства. Його часто супроводжував син Карл, герцог Калабрії, спадкоємець престолу, який не пережив свого батька, що мав інші погляди на архітектурні стилі. Насправді Карл був чутливим до нових течій, які, відмовляючись від суворої і необхідної францисканської архітектури, спиралися на традиційні моделі класичної готики і картузіанської архітектури. У 1325 році Карл був промоутером будівництва Палацу Сан-Мартіно, який сьогодні є Музеєм Сан-Мартіно. Король Неаполя, який перебував у вічній війні з сицилійцями, очолював італійську партію гвельфів і гарантував Церкві щорічну феодальну данину з Китаю: його дід Карл отримав королівство від Церкви, виконуючи антиімперську функцію, а також побив і стратив на площі Пьяцца дель Меркато Коррадіно Швабського. Коротше кажучи, Анжуйський дім представляв у той час сильного і вірного союзника, який гарантував тимчасову владу Папства. Після перенесення столиці з Палермо до Неаполя, якого прагнув його дід Карл (але Фрідріх II Швабський вже обрав неаполітанське місто, щоб заснувати там у 1225 році перший університет королівства), на Сицилії спалахнула Вечірня революція, що поклала край королівству, заснованому Рожером II Альтавільським, яке процвітало під владою нормандських і швабських королів. Відтоді Неаполь і Палермо претендували на всю територію від Трента до Мальти, і кожне з двох королівств називалося "Сицилійським" (звідси пізніший термін "дві Сицилії"). Війна, що тривала 90 років з чергуванням фаз, так і не виявила переможця, оскільки жоден з претендентів не мав сили, щоб перемогти іншого. Роберт Анжуйський був добрим королем для Неаполя: завдяки його ініціативам та ініціативам королеви Санчі Майоркської місто розросталося і було проведено численні роботи.Початковою ідеєю Роберта було побудувати палац на вершині Вомеро для себе і свого двору, який би використовувався як літня резиденція. 7 липня 1329 року своїм декретом він наказав Джованні де Гая, регенту Курії Вікаріату, побудувати Палац на вершині гори Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... У декреті були дані точні інструкції про те, коли і як будувати, а також про максимальну суму витрат (тисяча унцій золота - сума, яка, однак, виявилася набагато меншою, ніж було потрібно). У наступних документах, що стосуються будівництва, вже не використовувався термін "палацій", а "каструм", або замок: стратегічна фортеця завдяки своєму положенню, як для захисту Маскіо, повністю відкритого для нападу зверху, так і для контролю над містом.