Je me suis rendue compte que les robots.txt, les balise robots et les liens en nofollow n’était pas si évident que cela à expliquer et à fortiori à comprendre.

Alors reprenons depuis le début

Toutes ces sales bêtes qui donnent du fil à retordre aux débutants sont là pour « communiquer » avec les moteurs de recherche. Ils vont leur indiquer ce qu’ils peuvent faire ou pas.

Nous ne reviendrons pas sur les polémique sur l’obéissance des moteurs de recherche … normalement ils écoutent mais comme nous ils ont des petits moments où ils n’en font qu’à leur tête

Comme cet article est destiné aux débutants, nous allons comparer notre site à une boite de nuit où vous voulez rentrer et nous allons considérer que VOUS êtes le moteur de recherche enfin son bot (son petit programme qui fouille partout)

Vous voilà donc devant la porte …

Le robots.txt

( le videur)

C’est lui qui va vous dire (donc dire aux moteurs ) si vous avez le droit d’entrée et ce que vous avez le droit de faire !

Dans certain cas (quand vous êtes tricard ou VIP, vous avez le droit à vos propres consignes)

user-agent: *

Disallow: 

Les consignes sont pour tout le monde et C’est open bar !!!

(tous les bots peuvent indexer)

User-agent: *

Disallow: /

Rêvez pas c’est privé !

(interdiction  pour tous les bots d’indexer quoi que ce soit !)

user-agent: googlebot

Disallow : /

Il est tricard

(le bot googlebot n’a pas le droit d’indexer)

 Le vip Google peut bénéficier de son langage à lui n ne lui interdit pas on lui autorise … bref attention de ne pas vous emmeler les pinceaux et de faire une mixture des deux cela risque de se finir par un « rien n’est indexé »

Le videur peut aussi vous interdire certains endroits de la boite …

user-agent:*

Disallow: /derrierelecomptoir/

Vous pouvez entrer mais pas le droit d’aller derrière le comptoir

(tous les moteurs peuvent indexer sauf le répertoire « derrierelecomptoir » et son contenu)

 

la balise meta robots

(l’hôtesse qui gère à l’intérieur)

 C’est elle qui va gérer espace par espace ce que vous pouvez faire à l’intérieur.

Considérez qu’une page est un carré vip

C’est donc elle, l’hôtesse qui va vous donnez les consignes devant chaque carré.

noindex, nofollow

Vous n’entrez pas et vous ne suivez pas les gens qui pourraient en sortir

(Aucun bot n’a le droit d’indexer ou de suivre les liens internes ou externes)

index,follow

c’est open bar, tout le monde entre et peut suivre tout le monde

(Tous les bots peuvent indexer et suivre les liens)

noindex, follow

Elle est un peu bizarre cette boite, vous n’avez pas le droit d’entrer dans le carré vip mais rien ne vous empêche de suivre ceux qui en sortent !

(les bots n’ont pas le droit d’indexer mais peuvent suivre les liens)

index, nofollow

Vous avez le droit de rentrer mais pas le droit de suivre quelqu’un …

(les bots peuvent indexer mais pas suivre les liens)

Précision

Si vous mettez un videur à la porte qui autorise tout à tout le monde et une hôtesse qui autorise tout à tout le monde, nous sommes donc d’accord que la seconde fait de la figuration !

Inutile donc d’ajouter une balise meta robots qui autorise l’indexation et de suivre les liens si votre robots autorise tout

le rel « nofollow »

Le bon copain qui prévient (ou la bonne copine) mais si ! Vous voyez, celui-qui vous chuchote dans l’oreille « non la suit pas, c’est pas une fille » ou celle-qui vous dit « non n’y va pas il a pas l’air net »

<a href="http://www.example.com" rel="nofollow">il est pas fréquentable</a>

En mettant l’attribut « nofollow » sur un lien vous déconseillez aux bots de le suivre

 

Précision

Si vous mettez une hôtesse qui interdit de suivre tout à tout le monde, nous sommes donc d’accord que les bons conseils du copain ou de la copine ne servent à rien, on vous l’a déjà dit !

Inutile donc d’ajouter un nofollow si la balise meta le précise déjà.

 

J’espère que cette petite promenade en boite vous aura éclairer sur le rôle de chacun.

Vous trouverez des vrais infos sur http://fr.wikipedia.org/wiki/Protocole_d’exclusion_des_robots, ou sur http://www.robotstxt.org/ (en), http://www.robotstxt.org/meta.html (en)

 

Allez je retourne danser …