La D 50
Appelée route de Saint-Victor à la sortie de la ville, elle devient la D 50 après le carrefour vers Caylus.
En sortant de Saint-Affrique par la rue du Dr Blancard vers le cimetière, dans le 2ème virage, un groupe de maisons où un gîte a été créé près de l'habitation :
Dans l'épingle à cheveux, une grande maison neuve s'installe peu à peu ; la tradition de la croix est respectée !
Face au lieu dit « Le Martinet », une petite route étroite et sinueuse mène au Rocher de Caylus.
Le rocher de Caylus culmine à 519 mètres d'altitude, alors que la ville n'est qu'à 330 mètres. Le château qui y était implanté fut démantelé en 1238. Après 1730, il fut abandonné, tomba peu à peu en ruines et disparut.
On peut stationner au pied de ce panneau d'accueil.
C'est aussi le tracé du chemin de randonnée vers Tiergues : 
Sur la droite, une croix. 
A gauche de ce chemin se trouve la plus haute maison de Caylus.
Au sommet du rocher, une plate-forme appelée "le fromage", permettait de contempler Saint-Affrique et les vallées environnantes.
Le château de Caylus (Par Pauline de la Malène dans "Parcours romans en Rouergue", tome 2, 2009). Caylus autrefois ("Saint-Affrique en images" de Jean Carel)
Histoire de Caylus ("Notes documentaires pour la connaissance de Saint-Affrique" de Jean Carel)
D'après un article paru dans la lettre de la S.A.R.A.C., une opération de réhabilitation a eu lieu en 1998 mais il semble que ce soit le dernier geste de la ville pour son château ! En 1993, des travaux avaient été réalisés suivis d'un vernissage après demande des associations locales. Tout celà est à l'abandon, et l'accès au sommet interdit !
Avant de redescendre, voici une carte postale des années 1930 qui montre "l'avenue de Caylus" et la dernière maison du tableau ! Au bas, vers Saint-Affrique s'étend l'avenue de Caylus qui a bien changé ..... depuis son empierrement avec les pierres du château ! Quelques détails anciens :
Continuons à descendre vers Saint-Affrique ; sur la droite, un promontoire (privé) forme un plateau avec la croix de l'ancien cimetière, une table d'orientation, des bancs et une vue sur la ville.
Revenons sur la D 50. Avant le pont sur le Monnargues qui longe le ravin de Nougayrolles : « Le moulin du juge » et après le pont « La Roche ».
Le Moulin du juge regroupe plusieurs bâtiments dont voici l'histoire.
Au niveau de La Roche, départ d'un chemin de rando vers Nougayrolles. A droite du pont, une sorte de parking ouvre le chemin vers Tiergues ou Crassous. Lieu fréquenté par les promeneurs et leurs chiens. C'est le départ d'un chemin de randonnée. Quelques kilomètres plus haut, on aperçoit une ancienne bergerie sur l'autre rive, 
puis, croisement avec le fléchage du chemin « Crassous – Saint-Affrique » qui quitte le ravin de Nougayrolles pour couper la montagne vers Crassous. 
Après le four à chaux et la maison isolée, arrivée au panneau vers Crassous et Boussac comme on le retrouve dans le chapitre Crassous. 
