Construit au XIIe siècle, le château fort devenu vétuste fut en partie rasé en 1750.
La tour Saint-Jean, qui conservait le symbole de la seigneurie fut à son tour démolie par un propriétaire privé en 1875.
Situés en plein centre-ville, les vestiges du vieux château se composent de l’enceinte quadrangulaire flanquée de tours circulaires, des courtines et des douves en eau situées à une douzaine de mètres du pied des murailles d'enceinte.