اولین قلعه در این سایت, موت نورمن و قلعه بیلی, در ذکر شد 1148 به عنوان توسط خانواده بیگود متعلق به. در سال 1174 به دستور پادشاه هنری دوم انگلیس نابود شد زیرا هیو بیگود ارل 1 نورفولک برای سرنگونی پادشاه به شورشی پیوسته بود. در سال 1189 هنری جانشین وی شد ریچارد اول انگلیس و پسر هیو, راجر, ارل 2 نورفولک, دوباره مورد پسند سلطنتی قرار گرفت. وی سپس ساخت قلعه فعلی را که در سال 1213 تکمیل شد شروع کرد. قلعه فراملینگهام برای زمان در داشتن هیچ نگه داشتن مرکزی غیر معمول بود, اما به جای استفاده از یک دیوار پرده با 13 برج های دیواری برای دفاع از قلعه درونی. در طول اولین بارون ' جنگ در 1215, راجر با یک جناح از بارون شورشی که حکومت پادشاه جان مخالف طرفه. در سال 1216 قلعه توسط نیروهای سلطنتی گرفته شد. چند سال بعد قلعه به بیگودها بازگردانده شد. که در 1270 5 ارل نورفولک, همچنین یک راجر بیگود قلعه به ارث برده و بازسازی گسترده متعهد وجود دارد در حالی که در لوکس و سبک قابل توجهی زندگی. در نتیجه راجر مخالفت بارونی را علیه درخواست ادوارد برای مالیات اضافی و حمایت از جنگ های فرانسه خود رهبری کرد. ادوارد با تصرف سرزمین های راجر و تنها به شرطی که راجر پس از مرگ به تاج اعطا کند پاسخ داد. راجر موافقت کرد و قلعه فراملینگهام با مرگ وی در سال 1306 به تاج رسید. در پایان قرن 13 یک زندان بزرگ در قلعه ساخته شده بود. در قرن 14 قلعه فراملینگهام به توماس برادرتون داده شد, ارل نورفولک. بعدا در همان قرن قلعه به خانواده اوفورد که ارل سافولک بودند و بعدا به توماس دو موبری دوک نورفولک منتقل شد. به نظر می رسد موبری ها در بیشتر قرن 15 از قلعه فراملینگهام به عنوان مقر اصلی قدرت خود استفاده کرده اند. در سال 1476 قلعه به جان هوارد دوک نورفولک منتقل شد. تحت هاواردز قلعه به طور گسترده مدرن شد و از خشت مد روز برای پیشرفت استفاده شد. که در 1485, در پایان جنگ از گل سرخ, قلعه فراملینگهام توسط تاج مصادره شد, تنها به به توماس هوارد بازگشت, دوک 2 نورفولک, که در 1513. توماس دوران بازنشستگی خود را در اینجا گذراند و در این مدت قلعه به سبک اسراف تزیین شده بود. دوک 3 نورفولک, نیز نامیده می شود توماس, ساخته شده استفاده به مراتب کمتر از قلعه و تعمیرات به قلعه به نظر می رسد حداقل از سال 1540 به بعد بوده است. در سال 1553 مری اول انگلیس قبل از موفقیت در لندن نیروهای خود را در قلعه فراملینگهام جمع کرد. سپس قلعه به سرعت رو به زوال رفت. این قلعه از سال 1580 به بعد به عنوان زندان مورد استفاده قرار گرفت و تا سال 1600 زندان قلعه شامل 40 زندانی بود. تا سال 1613 قلعه فراملینگهام بی سرپرست بود. در سال 1636 با این شرط به کالج پمبروک رفت که قرار است تمام ساختمانهای داخل تخریب و با یک خانه فقیر جایگزین شود. در داخل قلعه از سه خانه فقیرنشین بعدی استفاده شد که در سال 1839 بسته شد. بعدها به عنوان یک سالن مته مورد استفاده قرار گرفت, یک دادگاه شهرستان, و همچنین حاوی زندان اهل محله محلی و سهام. در طول جنگ جهانی دوم توسط ارتش انگلیس به عنوان بخشی از دفاع منطقه ای در برابر حمله احتمالی المان مورد استفاده قرار گرفت. در حال حاضر قلعه فراملینگهام متعلق به میراث انگلیسی است.