Château de Sommières ehitati tõenäoliselt 10. või 11. sajandil bermondi aadlisuguvõsa poolt. Loss koosnes kahest tornist: bermonde ja Montlaur, mis pärinevad 13. sajandist. Ainult Bermonde torn on puutumata, Montlauri torn hävis osaliselt linna piiramise ajal 1573. aastal ja hiljem lammutati.