アンジュー家のロベールがヴォメロの丘の上に城を建てることを決めたのは、1328年9月、ちょうど建設中だったサン・マルティーノ憲章館を訪れた折だったと言われています。ロバートはその後、王国の建築現場での作業を自ら監督していった。彼はしばしば、建築様式について異なる考えを持つ、父を継がない王位継承者である息子のカラブリア公シャルルを伴っていた。実際、シャルルは、むき出しの本質的なフランシスコ会建築を捨て、古典的なゴシック建築やカルトゥージア建築を伝統的なモデルとして描く新しい潮流に敏感であった。1325年、シャルルは、サン・マルティーノ憲章館(現在のサン・マルティーノ博物館)の建設を推進した。 シチリアと常時戦争状態にあったナポリ王は、イタリアのゲルフ党を率い、教会にチネアの封建的年貢を保証した。彼の祖父シャルルは、反帝国の機能として教会から王国を獲得し、スワビアのコラディーノをメルカート広場で殴って処刑させていた。つまり、アンジュー家は当時、教皇庁の時間的権力を保証する強力で忠実な同盟国だったのである。祖父シャルルが望んだパレルモからナポリへの首都移転(しかし、スワビア家のフリードリヒ2世はすでにナポリの街を選び、1225年に王国初の大学を設立していた)後、シチリアではヴェスパー革命が起こり、アルタヴィラ家のロジェ2世の築いた王国は終焉を迎え、ノルマン王とスワビア王のもとに繁栄した。以後、ナポリとパレルモの双方がトレントからマルタまでの全領土を領有し、二つの王国はそれぞれ「シチリアの」と呼ばれた(これが後の「二つのシチリア」の語源となる)。この戦争は90年もの間、交互に繰り返されましたが、両者とも他を圧倒する力を持たなかったため、勝者はいませんでした。アンジュー家のロベールは、ナポリにとって良い王であった。彼のイニシアチブとマヨルカ島のサンチャ女王のイニシアチブのおかげで、ナポリは成長し、多くの工事が実施された。ロバートの最初の構想は、ヴォメロの山頂に自身とその宮廷のための宮殿を建設し、夏の住居として使用することだった。1329年7月7日、彼は勅令によって、ヴィカリアートのキュリアの摂政であるジョヴァンニ・デ・ハヤに、「Palatium in summitate montanee Sancti Erasmi prope Neapolim, pro habilitate persone nostre et aliarum personarum curiam nostram sequentium...」を建設せよと命令した。この勅令では、いつ、どのように建物を建てるか、また、最大支出額(金1,000オンス、しかしこの額は必要な額をはるかに下回ることが判明した)についての正確な指示がなされている。その後の建築に関する文書では、「パラティウム」という言葉はもはや使われず、「カストルム」、つまり城という言葉が使われるようになった。これは、上からの攻撃に完全にさらされるマスキオを守るため、そして街を支配するための戦略的な要塞という位置づけであった。