Allow, disallow, noindex, nofollow et autres sales bêtes : le guide robots.txt et meta robots

Mise à jour 2026 : robots.txt, meta robots et nofollow aujourd’hui

Quinze ans après ma première promenade en boîte de nuit, ces sales bêtes donnent toujours autant de fil à retordre. On garde la même boîte, mais la faune a changé : aux côtés de Googlebot et Bingbot, les crawlers des IA (ChatGPT, Gemini, Claude, Perplexity…) font maintenant la queue devant la porte.

Rappel du décor : votre site est une boîte de nuit, vous en êtes le patron, et les moteurs de recherche y envoient leurs crawlers, ces petits programmes qui explorent tout.

Le robots.txt : le videur à l’entrée

C’est lui qui dit aux crawlers ce qu’ils ont le droit d’explorer. Attention, le videur gère l’exploration, pas l’indexation : c’est LA confusion la plus fréquente, on y revient plus bas.

User-agent: *
Disallow:

Les consignes sont pour tout le monde et c’est open bar ! (tous les crawlers peuvent tout explorer)

User-agent: *
Disallow: /

Rêvez pas, c’est privé ! (aucun crawler ne peut explorer le site). A réserver aux préprod… et encore : une préprod se protège d’abord par un mot de passe.

User-agent: Googlebot
Disallow: /

Google est tricard (Googlebot ne peut rien explorer, les autres oui)

User-agent: *
Disallow: /espace-membres/

Vous pouvez entrer, mais pas dans l’espace membres (tout est explorable sauf le répertoire /espace-membres/ et son contenu)

Et le videur peut toujours rouvrir une porte précise avec Allow, et indiquer où se trouve le plan de la boîte :

User-agent: *
Disallow: /espace-membres/
Allow: /espace-membres/inscription/

Sitemap: https://www.example.com/sitemap.xml

Les crawlers des IA : les nouveaux clients

C’est la grande nouveauté de ces dernières années. Chaque IA a ses propres crawlers, et le videur peut les traiter un par un. Les principaux :

• GPTBot (OpenAI) : collecte des contenus pour entraîner les modèles. OAI-SearchBot sert, lui, à la recherche de ChatGPT.
• Google-Extended : ce n’est pas un crawler mais un jeton. Il permet de refuser l’utilisation de vos contenus par les IA de Google (Gemini) sans bloquer Googlebot ni le référencement.
• ClaudeBot (Anthropic), PerplexityBot, CCBot (Common Crawl, utilisé par beaucoup d’IA pour s’entraîner).

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Pas d’entraînement d’IA sur mes contenus, mais Googlebot et la recherche de ChatGPT restent les bienvenus. Avant de tout fermer, réfléchissez quand même : si vous bloquez les crawlers de recherche des IA, vos pages ne pourront pas être citées dans leurs réponses. En 2026, c’est aussi de la visibilité.

Crawl-delay : le videur qui fait patienter

User-agent: *
Crawl-delay: 10

Bing et quelques autres respectent cette consigne (10 secondes entre deux pages). Google, lui, l’ignore : il règle tout seul sa cadence en fonction de la réactivité de votre serveur.

La balise meta robots : l’hôtesse qui gère l’intérieur

Elle gère page par page, comme une hôtesse devant chaque carré VIP. Elle se place dans le <head> de la page :

<meta name="robots" content="noindex, nofollow">

Vous n’entrez pas et vous ne suivez pas ceux qui en sortent (page non indexée, liens non suivis)

<meta name="robots" content="noindex, follow">

Pas le droit d’entrer dans le carré VIP, mais rien ne vous empêche de suivre ceux qui en sortent (page non indexée, liens suivis). C’est la consigne classique pour les pages de résultats de recherche interne ou les vieux billets sans intérêt.

<meta name="robots" content="index, follow">

Open bar : c’est le comportement par défaut, cette balise ne sert donc à rien.

D’autres consignes sont arrivées depuis 2011 :

• max-snippet:150, max-image-preview:large, max-video-preview:30 : contrôlent la taille de l’extrait, de l’image et de la vidéo affichés dans les résultats (2019).
• nosnippet : pas d’extrait du tout. Google l’applique aussi à ses aperçus générés par IA.
• indexifembedded : autorise l’indexation d’un contenu uniquement quand il est intégré dans une autre page via une iframe, même si la page elle-même est en noindex (2022).
• unavailable_after : la page sort de l’index après une date donnée, pratique pour une promo ou un événement.

Et pour les fichiers qui n’ont pas de <head> (PDF, images), la même consigne passe par l’en-tête HTTP X-Robots-Tag :

X-Robots-Tag: noindex

Le rel="nofollow" : le copain qui vous glisse un conseil

<a href="https://www.example.com" rel="nofollow">il est pas fréquentable</a>

Depuis 2019, le nofollow a deux petits frères pour qualifier vos liens :

<a href="https://www.partenaire.com" rel="sponsored">lien payé</a>
<a href="https://www.site-du-commentateur.com" rel="ugc">lien dans un commentaire</a>

sponsored pour les liens payés ou affiliés, ugc pour les liens ajoutés par les utilisateurs (commentaires, forums). Et surtout, depuis 2020, Google traite ces attributs comme des indications et non plus comme des ordres : le copain conseille, mais Google fait ce qu’il veut. Le nofollow ne garantit donc plus qu’un lien ne sera ni suivi ni pris en compte.

LA question : comment empêcher Google d’indexer une page ?

C’était déjà la question de mon article collaboratif de 2012 (plus bas), et la réponse a été clarifiée depuis : avec une balise meta robots noindex (ou un X-Robots-Tag), et surtout pas avec le robots.txt.

• Le robots.txt bloque l’exploration, pas l’indexation. Une page bloquée peut quand même apparaître dans Google si d’autres sites font des liens vers elle, avec un résultat sans description.
• Pire : si la page est bloquée dans le robots.txt, Googlebot ne peut pas la lire, donc il ne voit jamais votre noindex. Le videur empêche l’hôtesse de faire son travail !
• La bonne méthode : laisser la page explorable, poser le noindex, attendre que Google repasse. Ensuite seulement, vous pouvez bloquer l’exploration si vous voulez économiser du crawl.
• Pour un contenu vraiment privé : mot de passe. C’est la seule protection réelle, le robots.txt est public et tout le monde peut le lire.
• Pour retirer une page en urgence : l’outil « Suppressions » de la Search Console la masque environ six mois, le temps que le noindex ou la suppression prenne le relais.

Les précisions qui restent vraies

• Un robots.txt qui autorise tout plus une meta robots qui autorise tout : la seconde fait toujours de la figuration.
• Un nofollow sur un lien d’une page déjà en meta « nofollow » : le copain répète ce que l’hôtesse a déjà dit.
• Pour une page en double (paramètres, filtres, produit dans plusieurs catégories), le noindex n’est souvent pas la bonne réponse : voyez plutôt la balise canonical.
• Le robots.txt est devenu un vrai standard (RFC 9309, 2022). Il doit être à la racine du site, et Google n’en lit que les 500 premiers Ko.
• Pour vérifier le vôtre : le rapport « robots.txt » de la Search Console (l’ancien outil de test a été retiré fin 2023), ou un crawler comme Screaming Frog.

Pour les vraies infos officielles : la documentation robots.txt de Google, celle sur la meta robots et le X-Robots-Tag, et la RFC 9309 (en).

Le billet d’origine de 2011 et l’article collaboratif de 2012 suivent, dans leur version de l’époque.

Allow, disallow, noindex, follow et autres sale bêtes …

Publié le 29 novembre 2011

Je me suis rendue compte que les robots.txt, les balise robots et les liens en nofollow n’était pas si évident que cela à expliquer et à fortiori à comprendre.

Alors reprenons depuis le début

Toutes ces sales bêtes qui donnent du fil à retordre aux débutants sont là pour « communiquer » avec les moteurs de recherche. Ils vont leur indiquer ce qu’ils peuvent faire ou pas.

Nous ne reviendrons pas sur les polémique sur l’obéissance des moteurs de recherche … normalement ils écoutent mais comme nous ils ont des petits moments où ils n’en font qu’à leur tête

Comme cet article est destiné aux débutants, nous allons comparer notre site à une boite de nuit où vous voulez rentrer et nous allons considérer que VOUS êtes le moteur de recherche enfin son bot (son petit programme qui fouille partout)

Vous voilà donc devant la porte …

Le robots.txt

( le videur)

C’est lui qui va vous dire (donc dire aux moteurs ) si vous avez le droit d’entrée et ce que vous avez le droit de faire !

Dans certain cas (quand vous êtes tricard ou VIP, vous avez le droit à vos propres consignes)

user-agent: *

Disallow: 

Les consignes sont pour tout le monde et C’est open bar !!!

(tous les bots peuvent indexer)

User-agent: *

Disallow: /

Rêvez pas c’est privé !

(interdiction  pour tous les bots d’indexer quoi que ce soit !)

user-agent: googlebot

Disallow : /

Il est tricard

(le bot googlebot n’a pas le droit d’indexer)

 Le vip Google peut bénéficier de son langage à lui n ne lui interdit pas on lui autorise … bref attention de ne pas vous emmeler les pinceaux et de faire une mixture des deux cela risque de se finir par un « rien n’est indexé »

Le videur peut aussi vous interdire certains endroits de la boite …

user-agent:*

Disallow: /derrierelecomptoir/

Vous pouvez entrer mais pas le droit d’aller derrière le comptoir

(tous les moteurs peuvent indexer sauf le répertoire « derrierelecomptoir » et son contenu)

 

la balise meta robots

(l’hôtesse qui gère à l’intérieur)

C’est elle qui va gérer espace par espace ce que vous pouvez faire à l’intérieur.

Considérez qu’une page est un carré vip

C’est donc elle, l’hôtesse qui va vous donnez les consignes devant chaque carré.

noindex, nofollow

Vous n’entrez pas et vous ne suivez pas les gens qui pourraient en sortir

(Aucun bot n’a le droit d’indexer ou de suivre les liens internes ou externes)

index,follow

c’est open bar, tout le monde entre et peut suivre tout le monde

(Tous les bots peuvent indexer et suivre les liens)

noindex, follow

Elle est un peu bizarre cette boite, vous n’avez pas le droit d’entrer dans le carré vip mais rien ne vous empêche de suivre ceux qui en sortent !

(les bots n’ont pas le droit d’indexer mais peuvent suivre les liens)

index, nofollow

Vous avez le droit de rentrer mais pas le droit de suivre quelqu’un …

(les bots peuvent indexer mais pas suivre les liens)

Précision

Si vous mettez un videur à la porte qui autorise tout à tout le monde et une hôtesse qui autorise tout à tout le monde, nous sommes donc d’accord que la seconde fait de la figuration !

Inutile donc d’ajouter une balise meta robots qui autorise l’indexation et de suivre les liens si votre robots autorise tout

le rel « nofollow »

Le bon copain qui prévient (ou la bonne copine) mais si ! Vous voyez, celui-qui vous chuchote dans l’oreille « non la suit pas, c’est pas une fille » ou celle-qui vous dit « non n’y va pas il a pas l’air net »

<a href="http://www.example.com" rel="nofollow">il est pas fréquentable</a>

En mettant l’attribut « nofollow » sur un lien vous déconseillez aux bots de le suivre

 

Précision

Si vous mettez une hôtesse qui interdit de suivre tout à tout le monde, nous sommes donc d’accord que les bons conseils du copain ou de la copine ne servent à rien, on vous l’a déjà dit !

Inutile donc d’ajouter un nofollow si la balise meta le précise déjà.

 

J’espère que cette petite promenade en boite vous aura éclairer sur le rôle de chacun.

Vous trouverez des vrais infos sur http://fr.wikipedia.org/wiki/Protocole_d’exclusion_des_robots, ou sur http://www.robotstxt.org/ (en), http://www.robotstxt.org/meta.html (en)

 

Allez je retourne danser …

Trois mois plus tard, la question qui fâche restait sans réponse claire, d’où cet appel à l’aide (la réponse 2026 est en haut de l’article) :

Article Collaboratif – anti indexation

Publié le 22 février 2012

A la lecture de toutes ces polémiques sur les robots.txt ou pas … comme chez Sylvain par exemple

http://blog.axe-net.fr/bref-jai-change-mon-robots-txt/

bref, c’est quoi la méthode infaillible pour ne pas que google indexe une page ??

Parce que pour le coup ca m’interesse

• robots.txt
• balise robots

et on ne répond pas

• login mot de passe
• javascript

c’est juste pas envisageable …ou complètement inutile dans mon cas de figure

parce que la {pro|débutante|experte|baltringue|ou ce que vous voulez} que je suis est perdue …

 

A vot’ bon coeur