Au cours du Moyen âge central, probablement au XIIe siècle, un château est construit sur une colline surplombant la plaine du Tarn, qui permet de contrôler cette zone de passage (en surplomb de la Nauze formée par une ancienne boucle du Tarn) entre le Montalbanais, l’Albigeois et le Rouergue en amont de l’Aveyron, et la Gascogne.
Il s’agissait du château seigneurial de Lafrançaise. Ce château des Mothes, qui appartient tout d’abord à la famille de Saint-Geniès, passe par alliance à celle des Parazols à la fin du XIVe siècle. Ils en font leur principale demeure jusqu’au XVIIe siècle.
Comptant parmi les plus anciens vestiges médiévaux de la commune, il est aujourd’hui largement ruiné mais on peut encore voir sa haute tour carrée de briques émerger de la cime des arbres.