La ville haute, qui constitue la cité primitive, a été édifiée sur un mont escarpé, au XIIe siècle par Arnaud du Pont, mais un pont sur le Dourdou, que l'on peut encore admirer, avait été construit ici, un siècle avant. La ville était fortifiée, mais, à cause de sa position, elle eut à subir les invasions des Anglais, puis essuya les guerres de Religion. La cité a ensuite profité de l'eau du Dourdou pour développer son industrie, notamment à travers la fabrication de draps. Cependant l'activité industrielle est bien plus ancienne car les Romains exploitaient déjà des mines de cuivre et, plus tard, la petite cité se fera, au XVIIe siècle une spécialité du battage du fer.