Prvi zgodovinski podatki o najdišču Ch Marshteau de Villerouge-termen je iz 12. stoletja. V tistem času in vse do francoske revolucije so bili močni narbonnejevi nadškofi gospodarji gradu in vasi Villerouge - termen. Kljub temu je bil grad večkrat zaželen in zaseden.
Leta 1107 je moral papež Pascal II potrditi nadškofa Richarda kot zakonitega lastnika Villerougea, ki ga je od leta 1070 zasedel Pierre de Perepertuse. Slednji je grad dal kot doto svoji hčerki, ko se je poročila s Pierrom Olivierjem de Termesom. Šele leta 1110 je družina Termes končno sprejela vrnitev premoženja nadškofu Narbonne.
Toda boj med gospodarji Termesa in nadškofi iz Narbonne se takrat ni ustavil. Leta 1227 je papež Honorij III pozval svojega legata, naj potrdi Nadškofove pravice proti poglavarju križarske vojne Simonu de Montfortu in njegovemu vazalu Alainu de Rouciju. Simon de Montfort je dal naslov in posest Termesa de Roumi, ki je grozil, da bo prevzel tudi Villerouge.
Vas je tesno povezana s propadom katarske cerkve: leta 1321 je bil Guilhem B. Guilhem B, ki je bil uveden v katarizem, je postal perfekt, medtem ko se je skrival v Kataloniji. Ker je samo perfectii lahko prenašal religijo, je s slovesnostjo polaganja rok njegova smrt pomenila konec katarske religije.
