Шато де Сомм'єр, ймовірно, було побудовано в 10-му або 11-му столітті благородною сім'єю Бермондів. Замок складався з двох веж: Бермонда і Монлора, побудованих ще в 13 столітті. Збереглася тільки вежа Бермонде, вежа Монлор була частково зруйнована під час облоги міста в 1573 році і пізніше знесена.