El primer castillo en este lugar, un castillo normando de tipo motte and bailey, se menciona en 1148 como propiedad de la familia Bigod. Fue destruido en 1174 por orden del rey Enrique II de Inglaterra porque Hugh Bigod, primer conde de Norfolk, se había unido a una revuelta para derrocar al rey. En 1189 Enrique fue sucedido por Ricardo I de Inglaterra y el hijo de Hugh, Roger, segundo conde de Norfolk, recuperó el favor real. Entonces se puso a construir el actual castillo, que se terminó en 1213. El castillo de Framlingham era inusual para la época porque no tenía una torre central, sino que utilizaba una muralla con 13 torres murales para defender el castillo interior. Durante la Primera Guerra de los Barones en 1215, Roger se puso del lado de una facción de barones rebeldes que se oponían al gobierno del rey Juan. En 1216 el castillo fue tomado por las fuerzas reales. Varios años después, el castillo fue devuelto a los Bigod. En 1270, el 5º conde de Norfolk, también Roger Bigod, heredó el castillo y emprendió amplias renovaciones mientras vivía con gran lujo y estilo. Roger estaba muy endeudado con el rey Eduardo I. Como resultado, Roger lideró una oposición baronial contra la petición de Eduardo de impuestos adicionales y apoyo para sus guerras francesas. Eduardo respondió embargando las tierras de Roger y sólo las liberó con la condición de que éste las cediera a la Corona tras su muerte. Roger aceptó y el castillo de Framlingham pasó a la Corona a su muerte en 1306. A finales del siglo XIII se construyó una gran prisión en el castillo. En el siglo XIV, el castillo de Framlingham pasó a manos de Thomas de Brotherton, conde de Norfolk. A finales de ese mismo siglo, el castillo pasó a la familia Ufford, que era condesa de Suffolk, y más tarde a Thomas de Mowbray, duque de Norfolk. Los Mowbray parecen haber utilizado el castillo de Framlingham como su principal sede de poder durante la mayor parte del siglo XV. En 1476 el castillo pasó a manos de John Howard, duque de Norfolk. Bajo el mandato de los Howard, el castillo se modernizó ampliamente y se utilizó el ladrillo de moda para las mejoras. En 1485, al final de las Guerras de las Rosas, el castillo de Framlingham fue confiscado por la Corona, para ser devuelto a Thomas Howard, segundo duque de Norfolk, en 1513. Thomas pasó aquí su jubilación y durante ese tiempo el castillo fue decorado con un estilo suntuoso. El tercer duque de Norfolk, también llamado Thomas, hizo mucho menos uso del castillo y las reparaciones del mismo parecen haber sido mínimas a partir de la década de 1540. En 1553, María I de Inglaterra reunió sus fuerzas en el castillo de Framlingham antes de marchar con éxito sobre Londres. Después, el castillo entró en un rápido declive. A partir de 1580, el castillo se utilizó como prisión y en 1600 la cárcel del castillo contenía 40 prisioneros. En 1613 el castillo de Framlingham estaba abandonado. En 1636 pasó a manos del Pembroke College por herencia, con la condición de que todos los edificios del interior fueran demolidos y sustituidos por un asilo. En el interior del castillo se utilizaron posteriormente tres casas de pobres, la última de las cuales se cerró en 1839. Más tarde se utilizó como sala de instrucción, tribunal del condado, así como para albergar la cárcel parroquial local y el cepo. Durante la Segunda Guerra Mundial, fue utilizado por los militares británicos como parte de las defensas regionales contra una posible invasión alemana. En la actualidad, el castillo de Framlingham es propiedad de English Heritage.