ਕਿਲ੍ਹੇ ਦਾ ਪਹਿਲਾ ਨਿਊਕਲੀਅਸ ਇੱਕ ਮੇਗੈਲਿਥਿਕ ਬਣਤਰ ਹੈ, ਜਿਸ ਦੇ ਅਵਸ਼ੇਸ਼ ਲੋਂਬਾਰਡ ਕੀਪ ਦੇ ਅਧਾਰ 'ਤੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਕਿਲ੍ਹੇਬੰਦ ਕੰਪਲੈਕਸ ਦਾ ਵਿਕਾਸ 10ਵੀਂ ਸਦੀ ਦੇ ਦੂਜੇ ਅੱਧ ਵਿੱਚ ਹੋਇਆ ਸੀ; ਲੋਂਬਾਰਡ ਕਾਉਂਟ ਪਾਲਡੇਫ੍ਰੇਡੋ ਅਤੇ ਉਸਦੇ ਉੱਤਰਾਧਿਕਾਰੀਆਂ ਨੇ ਘੱਟੋ-ਘੱਟ ਦੋ ਟਾਵਰਾਂ ਦੇ ਨਾਲ ਇੱਕ ਚਤੁਰਭੁਜ ਘੇਰੇ ਦੀ ਉਚਾਈ ਨਾਲ ਕਿਲੇ ਨੂੰ ਮਜ਼ਬੂਤ ਕੀਤਾ। ਨੌਰਮਨਜ਼ ਦੇ ਆਗਮਨ ਨਾਲ, ਅਲਟਾਵਿਲਾ ਦੇ ਰਾਜਾ ਰੋਜਰ II ਦੀਆਂ ਫੌਜਾਂ ਦੁਆਰਾ ਕਿਲ੍ਹੇ ਅਤੇ ਪਿੰਡ ਨੂੰ ਭਾਰੀ ਨੁਕਸਾਨ ਪਹੁੰਚਿਆ।ਐਂਜੇਵਿਨ ਕਾਲ ਵਿੱਚ ਇੱਕ ਖਾਈ ਅਤੇ ਤਿੰਨ ਵੱਡੇ ਗੋਲ ਟਾਵਰ ਇੱਕ ਕੱਟੇ ਹੋਏ ਕੋਨ ਬੇਸ ਦੇ ਨਾਲ ਬਣਾਏ ਗਏ ਸਨ। 1443 ਵਿੱਚ, ਅਰਾਗੋਨੀਜ਼ ਦੇ ਨਾਲ, ਕਿਲ੍ਹਾ ਪੰਡੋਨ ਪਰਿਵਾਰ ਨੂੰ ਦਿੱਤਾ ਗਿਆ। ਕਾਉਂਟ ਫ੍ਰਾਂਸਿਸਕੋ ਨੇ ਖਾਈ ਦੇ ਵਿਸਤਾਰ ਅਤੇ ਇੱਕ ਕ੍ਰੇਨੇਲੇਟਡ ਬ੍ਰਾਗਾ ਦੀ ਉਸਾਰੀ ਦਾ ਕੰਮ ਸ਼ੁਰੂ ਕੀਤਾ, ਜਦੋਂ ਕਿ ਐਨਰੀਕੋ ਨੇ ਸੋਲ੍ਹਵੀਂ ਸਦੀ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ, ਇਮਾਰਤ ਨੂੰ ਇੱਕ ਨਿਵਾਸ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ, ਜਿਸ ਵਿੱਚ ਲੌਗੀਆ, ਬਾਗ਼, ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਚਿੱਤਰਕਾਰੀ ਸਜਾਵਟ ਬਣਾਈ ਗਈ ਸੀ (1522 - 1527) ਆਪਣੇ ਮਸ਼ਹੂਰ ਪ੍ਰਜਨਨ ਦੇ ਸਭ ਤੋਂ ਵਧੀਆ ਘੋੜਿਆਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।ਚਾਰਲਸ V ਨਾਲ ਵਿਸ਼ਵਾਸਘਾਤ ਕਰਨ ਲਈ ਹੈਨਰੀ ਦਾ ਸਿਰ ਕਲਮ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਇਹ ਝਗੜਾ ਲੈਨੋਇਸ ਸਮੇਤ ਹੋਰ ਪਰਿਵਾਰਾਂ ਤੱਕ ਪਹੁੰਚ ਗਿਆ, ਜਿਨ੍ਹਾਂ ਨੇ ਕਿਲ੍ਹੇ ਦੇ ਰਿਹਾਇਸ਼ੀ ਚਰਿੱਤਰ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹੋਏ, ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਸਜਾਵਟ ਵਿੱਚ ਹੋਰ ਤਬਦੀਲੀਆਂ ਕੀਤੀਆਂ।