Dans ce site naturel, à 470 m d’altitude, le château était l’un des plus puissants du Languedoc, et régnait sur le Termenès, seigneurie d’une soixantaine de villages. Les seigneurs de Termes étaient favorables au Catharisme : à l’époque de la Croisade, Raimond n’aurait pas fait dire la messe dans la chapelle depuis plus de trente ans.
Suite à un manque d’entretien et au contexte trouble de la «fronde» vers 1650, le pouvoir choisit de détruire le château, ce qui est fait en 1654.