Epoque médiévale et moderne:
Le nom du hameau actuel de La Tour sur Orb était Latour. Il comporte des constructions issues des époques médiévales et modernes (se terminant à la Révolution).
Le pont sur l’Orb, auquel est accolé un moulin est d’époque médiévale. Il était un lieu de franchissement de l’Orb et à ce titre un lieu stratégique de contrôle des déplacements sur les chemins médiévaux connectant Boussagues, Camplong, Boubals, St Pierre de Brousson, etc.
C’est sur cet emplacement stratégique que se sont implantés :
- sur la rive Ouest un ensemble de bâti dense appelé Brousson
- sur la rive Est Mirande.
Le château dit « de Brousson » fut choisi comme résidence par les abbés de Joncels (de 1597 à 1686) sans doute pour sa position centrale sur le territoire qu’ils avaient à administrer. Le château fut inoccupé toute la première moitié du XVIIIe siècle.
Début du XIXe
Dans le premier quart du XIXe siècle le chemin de Bédarieux à Lodève s’écarte du tracé initial le long des berges de l’Orb et vient longer le château.
Pendant cette même période l’atelier mécanique de Bru s’implante au carrefour de la route de Bedarieux et du chemin de Boussagues.
C’est le début de l’essor du hameau de Latour.
Essor du hameau de Latour
Durant un demi-siècle de l’habitat se crée au droit du carrefour de Boussagues. Une usine Four à chaux s’installe et participe à l’édification de la ligne de chemin de fer de Bédarieux à Graissessac, ligne ouverte en 1858.
Le tronçon Latour le Bousquet d’Orb de la ligne de chemin de fer de Bedarieux à Neussargues est achevé en 1872. La ligne sera achevée en 1876.
En 1876 l’église Notre Dame de l’Assomption est édifiée. L’édifice est d’un dépouillement extrême; sa nef est couverte de fausses voûtes d’arêtes en brique et plâtre sur arcs doubleaux. Le chœur, de même largeur que la nef est couvert de six voûtains. L’église est éclairée par des baies en arc brisé pourvues de vitraux contemporains. Le bénitier du XIXème siècle, est en marbre rouge veiné de blanc, probablement de Caunes-Minervois.
L’essor de Latour a coïncidé avec le déclin de Boussagues. Avec le développement de la vallée de l’Orb et du hameau de Latour, le centre de gravité de la commune bougeait inexorablement.
En 1884, par décret présidentiel le siège de la commune est transféré du hameau de Boussagues au hameau de Latour et le nom de la commune devient La Tour sur Orb.
Sur la première moitié du XXe siècle un habitat diffus s’installe le long de la route départementale.
L’école est construite en 1912. La mairie est transférée au château de Brousson. Le développement du hameau de Latour devenu La Tour sur Orb stagne jusqu’au début des années 70. Celles-ci marquent l’arrivée de l’habitat pavillonnaire qui se disperse et se déconcentre, en opposition avec l’habitat jusque-là concentré autour du carrefour de Boussagues.