Першы замак на гэтым месцы, нармандскі замак мотт і Бейлі, быў згаданы ў 1148 годзе як які належыць сям'і Бігод. Ён быў разбураны ў 1174 годзе па загадзе ангельскага караля Генрыха II, таму што Х'ю Бігод, 1-й граф Норфолк, далучыўся да паўстання з мэтай звяржэння караля. У 1189 годзе Генрыху ўспадкаваў Рычард I англійская, а сын Х'ю, Роджэр, 2-й граф Норфолк, вярнуў сабе каралеўскую ласку. Затым ён прыступіў да будаўніцтва цяперашняга замка, будаўніцтва якога было завершана ў 1213 годзе. Замак Фрамлингем быў незвычайны для таго часу тым, што не меў Цэнтральнай крэпасці, а замест гэтага выкарыстаў навясную сцяну з 13 насценнымі вежамі для абароны ўнутранага замка. Падчас першай вайны баронаў у 1215 годзе Роджэр стаў на бок групоўкі мяцежных баронаў, якія выступалі супраць праўлення караля Джона. У 1216 годзе замак быў узяты каралеўскімі войскамі. Некалькі гадоў праз замак быў вернуты Бігодам. У 1270 годзе 5-й граф Норфолк, таксама Роджэр Бігод, атрымаў у спадчыну замак і правёў там шырокую рэканструкцыю, жывучы ў значнай раскошы і стылі. Роджэр быў Па Вушы Ў Даўгах у караля Эдуарда I. У выніку Роджэр узначаліў баронскую апазіцыю супраць просьбы Эдуарда аб дадатковых падатках і падтрымцы яго французскіх войнаў. Эдуард адказаў захопам зямель Роджэра і вызваленнем іх толькі пры ўмове, што Роджэр перадасць іх кароне пасля сваёй смерці. Роджэр пагадзіўся, і замак Фрамлінгем перайшоў да кароны пасля яго смерці ў 1306 годзе. Да канца 13 стагоддзя ў замку была пабудавана вялікая турма. У 14 стагоддзі замак Фрамлингем быў перададзены Томасу Бразертону, графу Норфолку. Пазней у тым жа стагоддзі замак перайшоў да сям'і Аффордов, якія былі графамі Саффолка, а затым да Томасу дэ Моубрею, герцагу Норфолку. Маубрэі, падобна, выкарыстоўвалі замак Фрамлингем ў якасці свайго галоўнага цэнтра ўлады на працягу большай часткі 15-га стагоддзя. У 1476 годзе замак перайшоў да Джона Говарда, герцага Норфолку. Пры Говардах замак быў значна мадэрнізаваны, і для паляпшэнняў выкарыстоўваўся модны цэглу. У 1485 годзе, у канцы вайны Пунсовай і Белай ружы, замак Фрамлингем быў канфіскаваны каронай, але ў 1513 годзе быў вернуты Томасу Говарду, 2-му герцагу Норфолку. Томас правёў тут сваю пенсію, і за гэты час замак быў багата ўпрыгожаны ў раскошным стылі. 3. герцаг Норфолк, таксама званы Томасам, значна менш карыстаўся замкам, і рамонт замка, па-відаць, быў мінімальным з 1540-х гадоў і далей. У 1553 годзе Марыя I Ангельская сабрала свае войскі ў замку Фрамлингем, перш чым паспяхова рушыць на Лондан. Пасля гэтага замак хутка прыйшоў у заняпад. З 1580 года замак стаў выкарыстоўвацца ў якасці турмы, а да 1600 года ў замкавай турме ўтрымлівалася 40 зняволеных. Да 1613 году замак Фрамлингем ляжаў закінуты. У 1636 годзе ён перайшоў да Пембрук-каледжа па спадчыне з умовай, што ўсе будынкі ўнутры павінны быць знесены і замененыя багадзельнай. Тры наступных прытулку выкарыстоўваліся ўнутры замка, апошняя з якіх была зачыненая ў 1839 годзе. Пазней ён выкарыстоўваўся як трэніровачны зала, акруговы суд, а таксама як мясцовая парафіяльная турма і склады. Падчас Другой сусветнай вайны ён выкарыстоўваўся брытанскімі вайскоўцамі як частка рэгіянальнай абароны ад патэнцыйнага нямецкага ўварвання. У цяперашні час замак Фрамлингем належыць ангельскай спадчыне.