Замак Соммьер, верагодна, быў пабудаваны ў 10-м ці 11-м стагоддзі высакароднай сям'ёй Бермандаў. Замак складаўся з двух вежаў: Бермонде і Монлор, датаваных 13 стагоддзем. Захавалася толькі вежа Бермонде, вежа Монлор была часткова разбурана падчас аблогі горада ў 1573 годзе і пазней знесена.