Château de Sommières byggdes troligen på 900-talet eller 1100-talet av den ädla familjen Bermond. Slottet bestod av två torn: Bermonde och Montlaur, som går tillbaka till 1200-talet. Bara Bermonde tower är intakt, Montlaur tornet förstördes delvis under belägringen av staden 1573 och senare revs.