Prvi Povijesni podaci o mjestu dvorca Villrouge-Termenes datiraju iz 12. stoljeća. U to vrijeme i sve do Francuske revolucije, moćni nadbiskupi Narbonne bili su gospodari dvorca i sela Villrouge-Termenes. Međutim, dvorac je bio vrlo poželjan i nekoliko puta angažiran. Doista, 1107.godine Papa Pascalus SOINIS morao je potvrditi nadbiskupa Richarda kao zakonitog vlasnika villrougea, koji je od 1070. godine bio Pierre de peirepertouse. Potonji je dvorac poklonio kao miraz svojoj kćeri kad se udala za Pierrea Oliviera de Termesa. Tek 1110.godine obitelj termes napokon je pristala vratiti imovinu nadbiskupu Narbonne. Ali borba između gospodara Terme i nadbiskupa Narbonne nije se tu zaustavila. 1227. Papa Honorius Sosin pozvao je svog legata da potvrdi prava nadbiskupa protiv šefa križarskog rata Simona de Montforta i njegovog vazala Alaina de rusa. Simon de Montfort prenio je naslov i posjede Terma de Russu, koji je prijetio da će zauzeti i Villrouge. Selo je usko povezano s propadanjem crkve katara: 1321.godine Guillem Belibast, posljednji poznati Okcitanski savršeni Katar, živ je spaljen u Villeruz-Termenesu. Guillem Belibast bio je iniciran u katarizam i postao savršen dok se skrivao u Kataloniji. Budući da su samo perfekcije mogle prenijeti religiju ceremonijom polaganja ruku, njegova smrt značila je kraj katarske religije.