O primeiro datos históricos sobre o sitio do Castelo de Villerouge-Termenès datas desde o século 12. En que momento e ata a Revolución francesa, Narbonne poderoso arcebispos foron os señores do castelo e vila de Villerouge - Termenès. Aínda así, o castelo foi moi cobizado e ocupou varias veces. De feito, en 1107, o Papa Pascal II tiña para confirmar o Arcebispo Richard como lexítimo propietario de Villerouge, que fora ocupada por Pierre de Peyrepertuse desde 1070. Este último deu o castelo como dote da súa filla cando ela casou con Pierre Olivier de Termes. É só en 1110 que o Termes familia finalmente aceptado para volver a propiedade para o Arcebispo de Narbonne. Pero a loita entre os señores de Termes e os Arcebispos de Narbonne non deixar a continuación. En 1227, o Papa Honorio III pediu o seu legado para confirmar o Arcebispo dereitos contra o xefe da Cruzada, Simon de Montfort, e o seu vasalo, Alain de Roucy. Simon de Montfort tiña dado o título e posesións do Termes de Roucy, que ameazou asumir Villerouge tamén. A aldea está intimamente ligado ao descenso da Cátaro igrexa: en 1321, Guilhem Bélibaste, último coñecido Occitano dos cátaros perfectus, foi queimado vivo en Villerouge-Termenès. Guilhem Bélibaste fora iniciado en Catharism, e tornouse un perfectus mentres que na clandestinidade en Cataluña. Como só perfectii podería transmitir a relixión, por unha cerimonia de imposición das mans, a súa morte significa o fin da Cátaro relixión.