Château de Sommières is waarschijnlijk gebouwd in de 10e of 11e eeuw door de Bermond noble familie. Het kasteel bestond uit twee torens: Bermonde en Montlaur, uit de 13e eeuw. De Toren van Montlaur werd gedeeltelijk verwoest tijdens de belegering van de stad in 1573 en later afgebroken.