Първите Исторически данни, отнасящи се до мястото на Шâ дьо Вилеру-Терменè, датират от 12-ти век. По това време и до Френската революция мощните архиепископи на Нарбон са лордовете на замъка и селото Вилеруг - Терменè. Въпреки това замъкът е много желан и окупиран няколко пъти.
Наистина, през 1107 г., Папа Паскал втори трябва да потвърди архиепископ Ришар за законен собственик на Вилеруж, който е окупиран от Пиер дьо Пейрепертус от 1070 г. Последният дава замъка като зестра на дъщеря си, когато тя се омъжва за Пиер Оливие дьо Терм. Едва през 1110 г.семейство Термс окончателно приема да върне имота на архиепископа на Нарбон.
Но борбата между владетелите на Терм и архиепископите на Нарбон не спира. През 1227 г. папа Хонорий трети призовава своя легат да потвърди правата на архиепископа срещу водача на кръстоносния поход Симон дьо Монфор и неговия васал Ален дьо Руси. Симон дьо Монфор дава титлата и владенията на Терм на Дьо Руси, който заплашва да превземе и Вилеруж.
Селото е тясно свързано с упадъка на катарската църква: през 1321 г.Гийхем Бé, последният известен окситански Катарски съвършен, е изгорен жив при Вилеруг-Терменè. Гийом Бéлибасте бил посветен в Катаризма и станал съвършен, докато се криел в Каталония. Тъй като само перфекционистът можел да предава религията, чрез церемония по полагане на ръце смъртта му означавала края на катарската религия.
