Твърди се, че решението на Роберт Анжуйски да построи замък на върха на хълма Вомеро е взето през септември 1328 г. по време на посещението му в току-що строящата се харта на Сан Мартино. Роберт проследява и лично контролира работата в строителните обекти на кралството. Често е придружаван от сина си Шарл, херцог на Калабрия, престолонаследник, който няма да доживее баща си, който имал различни идеи за архитектурните стилове. Всъщност Шарл бил чувствителен към новите течения, които, изоставяйки голата и съществена францисканска архитектура, се опирали на традиционните модели на класическата готика и картузианската архитектура. През 1325 г. Шарл насърчава построяването на хартата на Сан Мартино, която днес е Музей на Сан Мартино. Кралят на Неапол, който е във вечна война със сицилианците, оглавява партията на италианските гвелфи и гарантира на Църквата годишния феодален данък от Чинея: дядо му Карл е получил Кралството от Църквата в антиимперска функция и е избил и екзекутирал Корадино Швабски на Пиаца дел Меркато. Накратко, Домът на Анжу представлява по онова време силния и верен съюзник, гарантиращ светската власт на Папството. След преместването на столицата от Палермо в Неапол, желано от дядо му Карл (но Фридрих II Швабски вече е избрал неаполитанския град, за да създаде там първия университет на кралството през 1225 г.), в Сицилия избухва Вечерната революция, която слага край на кралството, основано от Рожер II Алтавийски, и процъфтява при норманските и швабските крале. От този момент нататък и Неапол, и Палермо претендират за цялата територия от Трент до Малта, а всяко от двете кралства се нарича "от Сицилия" (откъдето идва и по-късният термин "двете Сицилии"). Войната, продължила 90 години, като се редувала на етапи, нямала победител, тъй като нито един от претендентите нямал сили да надделее над другия. Въпреки това Роберт Анжуйски е добър крал за Неапол: благодарение на неговите инициативи и на тези на кралица Санча Майорка градът се разраства и са извършени множество строителни работи.Първоначалната идея на Робер е да построи дворец на връх Вомеро за себе си и своя двор, който да бъде използван като лятна резиденция. На 7 юли 1329 г. със свой указ той нарежда на Джовани де Хая, регент на Курията на Викариата, да построи Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium... В декрета се дават точни указания кога и как да се строи, както и за максималните разходи (хиляда унции злато - сума, която обаче се оказва далеч по-малка от необходимата). В последващите документи, свързани със строежа, вече не се използва терминът "palatium", а "castrum", или замък: стратегическа крепост поради разположението си, както в защита на Масио, напълно изложена на нападение отгоре, така и в контрола на града.
