Les premières données historiques concernant le site du Château de Villerouge-Termenès datent du XIIe siècle. A cette époque et jusqu'à la Révolution française, les puissants archevêques de Narbonne sont les seigneurs du château et du village de Villerouge-Termenès. Malgré cela, le château fut très convoité et occupé à plusieurs reprises. En effet, en 1107, le pape Pascal II dut confirmer l'archevêque Richard comme propriétaire légitime de Villerouge, qui était occupé par Pierre de Peyrepertuse depuis 1070. Ce dernier donna le château en dot à sa fille lorsqu'elle épousa Pierre Olivier de Termes. Ce n'est qu'en 1110 que la famille de Termes accepte finalement de rendre la propriété à l'archevêque de Narbonne. Mais la lutte entre les seigneurs de Termes et les archevêques de Narbonne ne s'arrête pas là. En 1227, le pape Honorius III incite son légat à confirmer les droits de l'archevêque contre le chef de la croisade, Simon de Montfort, et son vassal, Alain de Roucy. Simon de Montfort avait donné le titre et les possessions de Termes à de Roucy, qui menaçait de s'emparer également de Villerouge. Le village est étroitement lié au déclin de l'église cathare : en 1321, Guilhem Bélibaste, le dernier perfectus cathare occitan connu, fut brûlé vif à Villerouge-Termenès. Guilhem Bélibaste avait été initié au catharisme et était devenu un perfectus alors qu'il se cachait en Catalogne. Comme seuls les perfectii pouvaient transmettre la religion, par une cérémonie d'imposition des mains, sa mort signifiait la fin de la religion cathare.