Zamek w Sommières został zbudowany prawdopodobnie w X lub XI wieku przez szlachecką rodzinę Bermondów. Zamek składał się z dwóch wież: Bermonde i Montlaur, datowanych na XIII wiek. Jedynie Wieża Bermonde jest nienaruszona, Wieża Montlaur została częściowo zniszczona podczas oblężenia miasta w 1573, a później zburzona.