Ang unang makasaysayang data tungkol sa site ng Château de Villerouge-Termenès ay nagmula sa ika-12 siglo. Sa oras na iyon at hanggang sa Rebolusyong Pranses, ang malakas na archbishops ni Narbonne ay ang mga panginoon ng kastilyo at nayon ng Villerouge - Termenès. Kahit na, ang kastilyo ay labis na coveted at sinakop nang maraming beses.
Sa katunayan, noong 1107, kinailangang kumpirmahin ni Pope Pascal II ang arsobispo na si Richard bilang nararapat na may-ari ng Villerouge, na sinakop ni Pierre de Peyrepertuse mula pa noong 1070. Ang huli ay nagbigay ng kastilyo bilang dote sa kanyang anak na babae nang pakasalan niya si Pierre Olivier de Termes. Noong 1110 lamang na sa wakas ay tinanggap ng pamilya Termes na ibalik ang pag-aari sa Arsobispo ng Narbonne.
Ngunit ang pakikibaka sa pagitan ng mga panginoon ng Termes at ng mga Archbishops ng Narbonne ay hindi tumigil noon. Noong 1227, hinimok ni Pope Honorius III ang kanyang legate na kumpirmahin ang mga karapatan ng Arsobispo laban sa pinuno ng krusada, si Simon de Montfort, at ang kanyang vassal, Alain de Roucy. Binigyan ni Simon de Montfort ang pamagat at pag-aari ni Termes kay de Roucy, na nagbanta na sakupin din si Villerouge.
Ang nayon ay malapit na nauugnay sa pagbagsak ng Simbahan ng Cathar: noong 1321, si Guilhem Bélibaste, ang huling kilalang Occitan Cathar perfectus, ay sinunog na buhay sa Villerouge-Termenès. Guilhem Bélibaste ay pinasimulan sa Catharism, at naging isang perfectus habang sa pagtatago sa Catalonia. Bilang lamang perfectii maaaring magpadala ng relihiyon, sa pamamagitan ng isang seremonya ng pagtula sa ng mga kamay, ang kanyang kamatayan sinadya ang katapusan ng Cathar relihiyon.
Top of the World