Los primeros datos históricos sobre el emplazamiento del castillo de Villerouge-Termenès datan del siglo XII. En esa época y hasta la Revolución Francesa, los poderosos arzobispos de Narbona eran los señores del castillo y del pueblo de Villerouge- Termenès. Aun así, el castillo fue muy codiciado y ocupado en varias ocasiones.
En efecto, en 1107, el papa Pascal II tuvo que confirmar al arzobispo Ricardo como legítimo propietario de Villerouge, que había sido ocupado por Pierre de Peyrepertuse desde 1070. Este último dio el castillo como dote a su hija cuando se casó con Pierre Olivier de Termes. Sólo en 1110 la familia Termes aceptó finalmente devolver la propiedad al arzobispo de Narbona.
Pero la lucha entre los señores de Termes y los arzobispos de Narbona no se detuvo entonces. En 1227, el Papa Honorio III instó a su legado a confirmar los derechos del arzobispo contra el jefe de la Cruzada, Simón de Montfort, y su vasallo, Alain de Roucy. Simón de Montfort había cedido el título y las posesiones de Termes a de Roucy, que amenazaba con apoderarse también de Villerouge.
El pueblo está estrechamente relacionado con el declive de la iglesia cátara: en 1321, Guilhem Bélibaste, el último perfecto cátaro occitano conocido, fue quemado vivo en Villerouge-Termenès. Guilhem Bélibaste había sido iniciado en el catarismo y se convirtió en perfectus mientras se escondía en Cataluña. Como sólo los perfectos podían transmitir la religión, mediante una ceremonia de imposición de manos, su muerte significó el fin de la religión cátara.
