Кажуць, што рашэнне Роберта Анжуйскага пабудаваць замак на вяршыні пагорка Вомеро было прынята ў верасні 1328 года падчас яго візіту ў Чэртаза-дзі-Сан-Марціна, прама пад ёй і ўсё яшчэ будуецца. Раберта асабіста сачыў і кантраляваў работы на будоўлях каралеўства. Яго часта суправаджаў сын Карла, герцаг Калабрыі, спадчыннік трона, які не перажыў свайго бацькі, які меў розныя ўяўленні аб архітэктурных стылях. Карла сапраўды быў адчувальны да новых плыняў, якія, адмовіўшыся ад голай і істотнай францысканскай архітэктуры, спасылаліся на традыцыйныя мадэлі класічнай готыкі і картузіянцаў. У 1325 годзе Карла быў ініцыятарам будаўніцтва Чэртаза-дзі-Сан-Марціна, сённяшняга музея Сан-Марціна. Кароль Неапаля, які вёў вечную вайну з сіцылійцамі, узначаліў партыю італьянскіх гвельфаў і гарантаваў Царкве штогадовую феадальную даніну Кітая: яго дзед Карл атрымаў каралеўства ад Царквы ў антыімперскай функцыі, ён біў і меў Карадзін пакараў смерцю Швабія на рынкавай плошчы. Карацей кажучы, дом Анжу ў той час быў моцным і верным саюзнікам, які гарантаваў свецкую ўладу папства. Пасля пераносу сталіцы з Палерма ў Неапаль, якога хацеў яго дзед Карла (але Фрыдрых II Швабскі ўжо выбраў неапалітанскі горад для заснавання першага ўніверсітэта Каралеўства ў 1225 г.), на Сіцыліі ўспыхнула рэвалюцыя Вячэрні, паклаўшы канец Каралеўству, заснаванаму Роджэрам II Альтавілам, і квітнеламу пры нармандскіх і швабскіх каралях. З тых часоў і Неапаль, і Палерма прэтэндавалі на ўсю тэрыторыю, якая ішла ад Трэнта да Мальты, і кожнае з двух каралеўстваў называлася «Сіцылія» (адсюль пазнейшы тэрмін «дзве Сіцыліі»). Вайна, якая доўжылася 90 гадоў, не знайшла пераможцаў, таму што ні ў аднаго з супернікаў не хапіла сілы ўзяць верх над другім. Аднак Раберта д'Анджыо быў добрым каралём Неапаля: дзякуючы яго ініцыятывам і ініцыятывам каралевы Санчы Маёркі горад рос і праводзіліся шматлікія працы.Першапачатковая ідэя Раберта заключалася ў тым, каб пабудаваць на вяршыні Вомеро палац для сябе і свайго двара, які будзе выкарыстоўвацца ў якасці летняй рэзідэнцыі. 7 ліпеня 1329 года сваім указам ён загадаў Джавані дэ Хая, рэгенту курыі Вікарыя, пабудаваць Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostra et aliarum personarum curiam nostram sequentium... У указам былі дадзены дакладныя ўказанні аб тэрмінах і спосабах будаўніцтва, аб максімальных выдатках (тысяча унцый золата, сума, якая, аднак, аказалася значна меншай за патрэбную). У наступных дакументах, звязаных з будынкам, гаворка ўжо не ішла пра палаціум, а пра каструм, гэта значыць замак: стратэгічную крэпасць з-за яе пазіцыі, як для абароны Мале, цалкам адкрытай для нападаў зверху, так і для кантролю горада.