Prvi istorijski podaci o mjestu Château de Villerouge-Termenès datiraju iz 12.vijeka. U to vrijeme i do Francuske revolucije, Narbonneovi moćni nadbiskupi bili su gospodari zamka i sela Villerouge - Termenès. Čak i tako, dvorac je bio veoma priželjkivan i zauzet nekoliko puta. Zaista, 1107. godine papa Pascal II morao je potvrditi nadbiskupa Richarda kao zakonitog vlasnika Villerougea, koji je Pierre de Peyrepertuse zauzimao od 1070.godine. Potonji je dvorac dao kao miraz svojoj kćeri kada se udala za Pierrea Oliviera de Termesa. Tek 1110. godine porodica Termes konačno je prihvatila da vrati imovinu nadbiskupu Narbonnea. Ali borba između gospodara Termesa i nadbiskupa Narbonne tada nije prestala. Godine 1227. papa Honorije III pozvao je svog legata da potvrdi Nadbiskupova prava protiv poglavara krstaškog rata Simona de Montforta i njegovog vazala Alaina de Roucyja. Simon de Montfort je dao titulu i imovinu Termes de Roucy, koji je prijetio da će preuzeti Villerouge također. Selo je usko povezano sa padom katarske crkve: 1321.godine Guilhem Bélibaste, posljednji poznati Occitan Cathar perfectus, živ je spaljen kod Villerouge-Termenèsa. Guilhem Bélibaste je iniciran u katarizam i postao perfectus dok se skrivao u Kataloniji. Kao što je samo perfektii mogao prenijeti religiju, ceremonijom polaganja ruku, njegova smrt značila je kraj katarske religije.