První historické údaje o lokalitě Château de Villerouge-Termenès pocházejí z 12.století. V té době a až do francouzské revoluce byli Narbonnovými mocnými arcibiskupy páni hradu a vesnice Villerouge-Termenès. I tak byl hrad několikrát vyhledávaný a obsazený. V roce 1107 musel papež Pascal II. potvrdit arcibiskupa Richarda jako právoplatného majitele Villerouge, který byl od roku 1070 obsazen Pierrem de Peyrepertuse. Ten dal hrad jako věno své dceři, když se provdala za Pierra Oliviera de Termes. Teprve v roce 1110 se rodina Termes konečně rozhodla vrátit majetek arcibiskupovi z Narbonne. Ale boj mezi pány z Termes a arcibiskupy z Narbonne se nezastavil. V roce 1227 papež Honorius III vyzval svého legáta, aby potvrdil práva arcibiskupa proti náčelníkovi křížové výpravy Simonovi de Montfortovi a jeho vazalovi Alainovi de Roucymu. Simon de Montfort dal titul a majetek Termes de Roucymu, který hrozil, že převezme také Villerougeovu vládu. Obec je úzce spjata s úpadkem katarského kostela: v roce 1321 byl Guilhem Bélibaste, poslední známý okcitánský Cathar perfectus, zaživa upálen ve Villerouge-Termenès. Guilhem Bélibaste byl zasvěcen do Katarismu a stal se perfectusem, zatímco se skrýval v Katalánsku. Jako jediný perfectii mohl přenášet náboženství, obřadem položení rukou, jeho smrt znamenala konec katarského náboženství.