Pour surveiller la plaine de Valloire à son débouché sur la vallée du Rhône, dès le XIIe siècle devait s'élever, bien campée sur son tertre, stratégique, la tour d'Albon, seul vestige du château moyenageux des comtes, encore présent sur le site.
Cette tour est aujourd'hui mise en valeur par une circulation piétonne et fournit aux visiteurs, par des panneaux, une information historique. D'abord construite en bois avant d'être transformée en tour carrée, elle possède des murs d'un mètre soixante d'épaisseur en galets et molasse.