Початок будівництва офіційно датується 29 січня 1240 року, коли Фрідріх II Гогенштауфен наказав Ріккардо да Монтефусколо, судді Капітанати, підготувати матеріали і все необхідне для зведення замку біля церкви Санкта-Марія-де-Монте (нині не існує). Цю дату, однак, визнають не всі дослідники: на думку деяких, будівництво замку на той час вже дійшло до дахів.З 17 століття почався тривалий період занедбаності, під час якого замок був позбавлений обстановки і мармурового оздоблення стін (сліди якого залишилися тільки за капітелями) і став не тільки в'язницею, але і притулком для пастухів, розбійників і політичних біженців. У 1876 році замок, який перебував у вкрай незадовільному стані, нарешті був викуплений (за 25 000 фунтів стерлінгів) італійською державою, яка організувала його реставрацію, починаючи з 1879 року. У 1928 році під час реставрації під керівництвом архітектора Квальяті було розчищено завали ззовні замку та знесено частину зруйнованих конструкцій, які згодом відбудували, щоб надати замку "омолодженого" вигляду; це не зупинило його руйнування, і подальшу реставрацію довелося проводити між 1975 та 1981 роками. У 1936 році Кастель-дель-Монте був оголошений національною пам'яткою.У 1996 році ЮНЕСКО внесла його до списку Всесвітньої спадщини завдяки математичній та астрономічній строгості його форм і гармонійному поєднанню культурних елементів Північної Європи, ісламського світу та класичної античності, що є типовим прикладом середньовічної архітектури.Незважаючи на те, що його часто називають "замком", точна функція цієї величної будівлі досі невідома. Архітектурно позбавлена типово військових елементів і ровів, розташована в нестратегічному місці, будівля, ймовірно, насправді не була фортецею. Деякі елементи споруди рішуче виключають цю гіпотезу: наприклад, гвинтові сходи у вежах розташовані проти годинникової стрілки (на відміну від будь-якої іншої оборонної споруди того часу), що ставило мешканців замку у невигідне становище перед можливими нападниками, оскільки вони були б змушені тримати зброю лівою рукою. Бійниці також занадто вузькі, щоб можна було припустити, що в них можна було пускати стріли.Навіть гіпотеза про те, що це був мисливський будиночок, який дуже любив цар, ставиться під сумнів через наявність вишуканих орнаментів і відсутність стайні та інших приміщень, характерних для мисливських резиденцій.Через сильний символізм, яким вона просякнута, було висунуто гіпотезу, що будівля могла бути своєрідним храмом, або, можливо, храмом знань, в якому можна було безтурботно присвятити себе вивченню природничих наук.У будь-якому випадку, вона являє собою грандіозний архітектурний витвір, синтез витончених математичних, геометричних та астрономічних знань.Деякі незначні асиметрії в розташуванні збережених декорацій і внутрішніх дверей, якщо вони не є наслідком розростання або перебудов, наштовхнули деяких дослідників на думку, що замок і його кімнати, хоча й геометрично досконалі, були спроектовані таким чином, щоб ними можна було користуватися через якийсь обов'язковий "шлях", ймовірно, пов'язаний з астрономічними критеріями.Щоб пояснити повну відсутність коридорів, висувається також гіпотеза, що на рівні першого поверху колись був дерев'яний балкон, нині зниклий, з боку, що виходить на внутрішній двір, який дозволяв би мати незалежний доступ до окремих кімнат.Нещодавня гіпотеза припускає, що будівля виконувала функцію оздоровчого центру, придатного для регенерації та догляду за тілом, за зразком арабського хамаму. На це вказують кілька елементів будівлі: численні та винахідливі системи для каналізації та збору води, численні цистерни для зберігання, наявність найстаріших в історії купалень, особлива конфігурація всього комплексу, обов'язкова внутрішня доріжка та восьмикутна форма.Через свою восьмикутну форму, з такою ж кількістю восьмикутників, розміщених у вершинах центрального плану, можна припустити, що будівля була побудована так, щоб нагадувати форму корони; це пояснювало б функцію Кастель-дель-Монте - подальше утвердження імператорської влади, монумент.Восьмикутник, на якому базується план комплексу та його елементів, є дуже символічною геометричною фігурою: він є проміжною фігурою між квадратом, символом землі, і колом, що представляє нескінченність неба, і, таким чином, позначав би перехід від одного до іншого.Вибір восьмикутника міг походити від Купола Скелі в Єрусалимі, який Фрідріх II бачив під час Шостого хрестового походу, або від Палатинської каплиці в Аахені.Вся споруда пронизана сильними астрологічними символами, а її розташування розраховане таким чином, що в дні сонцестояння і рівнодення тіні, що відкидаються стінами, мають певний напрямок. Опівдні в день осіннього рівнодення, наприклад, тіні від стін ідеально досягають довжини внутрішнього двору, а рівно через місяць вони також покривають всю довжину кімнат. Двічі на рік (8 квітня і 8 жовтня, а жовтень тоді вважався восьмим місяцем року), крім того, через вікно в південно-східній стіні проникає промінь сонячного світла і, проходячи через вікно, що виходить у внутрішній двір, освітлює ділянку стіни, де раніше був вирізаний барельєф.На двох колонах, що фланкують вхідний портал, присіли два леви: правий дивиться на лівий і навпаки, звернені до точок на горизонті, де сходить сонце в дні літнього і зимового сонцестояння.Можна відзначити ще одну особливість будівлі: до п'яти цистерн для води під вежами ідеально під'єднані п'ять димарів всередині. Дехто пов'язує цю присутність зі словами Євангелія від Луки: "Сьогодні Я хрещу вас водою, але прийде Той, Хто буде хрестити вас вогнем", тим самим підтверджуючи гіпотезу про те, що будівля використовувалася як своєрідний храм.Помічено, що будівля здалеку дуже схожа на корону, зокрема на ту, якою був коронований сам Фрідріх II (також восьмикутна).Якби ідеально розрізати вхідний портал будівлі вертикальною лінією, що проходить через його вісь, то можна було б побачити велику літеру F, ініціали суверена, який хотів цього і, можливо, таким чином залишив свій слід і підпис. Розташування сходів також було спроектовано таким чином, щоб кожен, хто виходив, ніколи не міг повернутися спиною до будівлі або до ініціалів того, хто її збудував.Число вісім повторюється в різних елементах цієї споруди: восьмикутна форма будівлі, внутрішнього двору та восьми веж на вершинах, вісім внутрішніх кімнат, внутрішній басейн, який мав бути восьмикутним, вісім чотирилистих квітів на лівій рамі вхідного порталу, ще вісім на нижній рамі, вісім листочків на капітелях колон у кімнатах, вісім листочків на замковому камені, вісім виноградних листочків на замковому камені першої кімнати на першому поверсі, вісім соняшникових листочків на замковому камені іншої кімнати, вісім листочків і вісім пелюсток на замковому камені п'ятої кімнати, вісім акантових листочків на замковому камені восьмої кімнати, вісім фігових листочків на замковому камені восьмої кімнати на верхньому поверсі.