Die ersten historischen Daten über den Standort des Schlosses Villerouge-Termenès stammen aus dem 12. Jahrhundert. Zu dieser Zeit und bis zur Französischen Revolution waren die mächtigen Erzbischöfe von Narbonne die Herren des Schlosses und des Dorfes Villerouge-Termenès. Dennoch war die Burg sehr begehrt und wurde mehrmals besetzt. So musste Papst Pascal II. im Jahr 1107 den Erzbischof Richard als rechtmäßigen Besitzer von Villerouge bestätigen, das seit 1070 von Pierre de Peyrepertuse besetzt war. Dieser schenkte die Burg seiner Tochter als Mitgift, als sie Pierre Olivier de Termes heiratete. Erst im Jahr 1110 akzeptierte die Familie Termes schließlich die Rückgabe des Besitzes an den Erzbischof von Narbonne. Doch der Kampf zwischen den Herren von Termes und den Erzbischöfen von Narbonne war damit noch nicht beendet. Im Jahr 1227 forderte Papst Honorius III. seinen Legaten auf, die Rechte des Erzbischofs gegenüber dem Anführer des Kreuzzuges, Simon de Montfort, und seinem Vasallen Alain de Roucy zu bestätigen. Simon de Montfort hatte den Titel und die Besitztümer von Termes an de Roucy übertragen, der damit drohte, auch Villerouge zu übernehmen. Das Dorf ist eng mit dem Niedergang der katharischen Kirche verbunden: 1321 wurde Guilhem Bélibaste, der letzte bekannte okzitanische Perfektus der Katharer, in Villerouge-Termenès lebendig verbrannt. Guilhem Bélibaste war in den Katharismus eingeweiht worden und wurde zum perfectus, als er sich in Katalonien versteckte. Da nur perfectii die Religion durch eine Zeremonie des Handauflegens weitergeben konnten, bedeutete sein Tod das Ende der katharischen Religion.