Les tokens d'entraînement IA de robots.txt sont là : quoi bloquer, quoi laisser ouvert

Le 30 octobre 2026, Google, Microsoft Bing, OpenAI et Anthropic ont chacun annoncé qu'ils honoreraient un token robots.txt partagé pour les opt-outs d'entraînement IA, __usage_ai-training. Bing sépare aussi le grounding en un contrôle dédié au niveau de la page. Le changement punit le blocage global, que l'audit d'un benchmark fournisseur situe sur 41% des sites B2B. Voici ce que contrôle chaque interrupteur et quoi corriger avant le début de l'application, le 1er février 2027.

Ce qui a changé le 30 octobre

Une ligne dans robots.txt s'adresse désormais à quatre entreprises d'IA en même temps. L'Internet-Draft draft-kelley-aipref-training-preference-signal-00, écrit par Kevin Kelley d'Anthropic et publié le 30 octobre, définit un « token de politique », __usage_ai-training. Un site écrit un groupe robots.txt ordinaire sous ce token, et les fournisseurs participants le lisent comme la préférence du site sur l'usage de son contenu pour l'entraînement d'IA générative. Les quatre entreprises l'ont soutenu le jour même.

L'exemple du brouillon lui-même retire tout le site de l'entraînement, sauf un dossier :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Le mécanisme n'ajoute aucune syntaxe nouvelle. Les règles de chemin sous le token suivent la RFC 9309, le standard robots.txt, priorité au plus long préfixe comprise, et les parseurs qui ignorent le token traitent le groupe comme n'importe quel user agent inconnu. Le brouillon est une soumission individuelle sans statut IETF formel ; il expire le 3 mai 2027 sauf révision. Le soutien est annoncé, pas en vigueur, et chaque entreprise a donné une date différente :

Meta figure dans les remerciements du brouillon et a salué publiquement le signal, sans s'engager à l'honorer (The Verge). La liste des entreprises qui obéissent réellement au token compte quatre noms aujourd'hui. Traitez-le comme une préférence que ces quatre se sont engagées à lire, pas comme une loi du web.

Entraînement, grounding et crawling sont trois interrupteurs distincts

Le token dit comment le contenu peut être utilisé, pas si un crawler a le droit de le récupérer. « This policy token is not a directive for crawling behavior », précise le brouillon. Trois interrupteurs distincts sont désormais en jeu : l'accès au crawl (inchangé, règles par crawler) ; l'usage d'entraînement (le nouveau token partagé) ; et l'usage de grounding, qui alimente les réponses IA (contrôles au niveau de la page chez Microsoft ; Google-Extended chez Google).

Quatre limites du brouillon comptent plus que la syntaxe :

1. Les règles wildcard ne comptent pas. « Les groupes wildcard (c'est-à-dire User-agent: *) NE DOIVENT PAS être interprétés comme correspondant au token de politique. » Un Disallow: / global sous * bloque les crawlers mais n'exprime aucune préférence d'entraînement.
2. Pas de groupe, pas de préférence. Un fichier sans le token « n'exprime aucune préférence du tout ». Le silence n'est pas un non.
3. Les accords privés l'emportent. « Les accords privés PEUVENT remplacer les préférences exprimées via ce mécanisme. »
4. Le spécifique bat le général. Les consommateurs peuvent traiter des tokens propriétaires comme Google-Extended ou GPTBot comme plus spécifiques que le token partagé.

Google raccorde le token partagé à l'interrupteur Google-Extended. Son annonce Search Central indique qu'un site qui se retire via le token sans mentionner Google-Extended sera lu « comme si l'éditeur avait interdit Google-Extended » (officiel). Google-Extended régit l'entraînement des modèles Gemini et le grounding dans Gemini Apps et Vertex AI, et il « n'affecte ni l'inclusion d'un site dans la Recherche Google ni son classement » (doc officielle). Le même document note que les sites qui autorisent explicitement Google-Extended peuvent apparaître dans les réponses de Gemini Apps et en recevoir des clics. Ces deux déclarations officielles côte à côte donnent notre lecture — à nous, pas une phrase de Google : un opt-out d'entraînement global laissé seul retire aussi le site du grounding de Gemini Apps. Si vous voulez ces citations, autorisez explicitement Google-Extended.

Bing est allé plus loin et a fait du grounding un réglage de page à part entière, porté par une balise meta ou un en-tête X-Robots-Tag (officiel) :

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Il n'existe pas de préférence de grounding robots.txt pour tout le site ; le grounding n'existe qu'au niveau de la page. DisallowExtended garde le contenu éligible aux expériences exploitées par Microsoft comme Copilot, AI Mode et Microsoft 365 tout en le refusant aux services de grounding que Microsoft revend à des tiers, comme Web IQ. Sans publication, les deux préférences valent Allow. L'avertissement de Microsoft lui-même : choisir Disallow ou DisallowExtended réduira nettement votre visibilité dans les expériences générées par IA, mais ne change, dans les deux cas, rien à l'éligibilité dans les résultats Bing ordinaires.

Le blocage global est l'erreur coûteuse

Bloquer « les bots IA » en bloc a toujours été une erreur de catégorie. Les crawlers d'entraînement et les crawlers de réponse sont des user agents différents, et bloquer la seconde catégorie retire un site des réponses que voient les acheteurs. Les nouveaux contrôles rendent la distinction impossible à éluder.

Le marché sépare déjà les deux, de façon inégale. Le cliché Cloudflare Radar du 28 septembre 2026 portant sur 4 242 fichiers robots.txt montre chaque grand crawler d'entraînement interdit plus souvent qu'autorisé : Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (données Cloudflare Radar via TechnologyChecker). Les crawlers de réponse inversent la tendance : OAI-SearchBot 0.91:1, bingbot 0.99:1. Un crawl indépendant de 5 467 fichiers robots.txt a relevé 19.9% des sites bloquant au moins un crawler d'entraînement à la racine contre 11.4% bloquant un crawler de recherche IA, et 454 des 874 bloqueurs de GPTBot laissant encore passer OAI-SearchBot (Citevisor, octobre 2026). Les opérateurs qui avaient compris la distinction ont gardé la bonne porte ouverte.

Ceux qui ne l'avaient pas comprise forment le chiffre d'avertissement. L'audit de cohorte T1 2026 de CapstonAI (un benchmark fournisseur, tiré de sa propre clientèle) chiffre à 41% des sites B2B bloquant au moins un grand bot IA, généralement un vestige de la panique « tout bloquer » de 2023-2024 (CapstonAI). Chacun de ces blocs a été écrit à l'époque où le seul interrupteur disponible était le kill switch au niveau du crawl. À partir du 1er février 2027, les interrupteurs se séparent, et un site qui bloque encore au mauvais étage disparaît silencieusement des réponses qu'il n'avait jamais l'intention de quitter. C'est important parce que les réponses sont là où les acheteurs commencent désormais ; notre note précédente explique pourquoi être nommé par l'IA bat le classement Google.

Que bloquer, que laisser ouvert

Décidez par type de contenu, pas par entreprise. L'entraînement est une décision de droits que vous pouvez maintenant exprimer une seule fois, chemin par chemin. Les crawlers de réponse et les fetchers déclenchés par l'utilisateur sont de la distribution : laissez-les ouverts pour tout ce que vous voulez voir cité.

Une ligne mérite un avertissement. Les fetchers déclenchés par l'utilisateur (ChatGPT-User, Claude-User, Perplexity-User) se déclenchent quand une personne vous interroge dans un chat. OpenAI documente que robots.txt ne s'applique peut-être pas à ChatGPT-User, et Perplexity indique que Perplexity-User l'ignore généralement (Citevisor). Pour cette famille, robots.txt est un instrument faible.

Que faire avant le 1er février 2027

Rien n'est appliqué encore, et c'est précisément pourquoi les trois prochains mois méritent d'être utilisés. Les correctifs ne prennent effet qu'après que les moteurs ont recrawlé le site, et Microsoft avertit que publier un réglage n'équivaut pas à l'activer. La séquence :

1. Lisez votre robots.txt aujourd'hui. Listez chaque token IA qu'il contient et triez-les en entraînement, réponse et fetch utilisateur. Notre vérification instantanée gratuite fait la première passe en quelques secondes.
2. Retirez les blocs globaux périmés. Tout ce qui a été ajouté en 2023-2024 « par prudence » mérite une décision fraîche face au tableau ci-dessus.
3. Si vous publiez NoArchive ou NoCache, agissez avant le 1er mars 2027 : publiez les nouvelles préférences et enregistrez la préférence de grounding temporaire dans Bing Webmaster Tools, qui ouvre le 15 décembre 2026. Manquez la date et ces pages passent par défaut en Allow pour le grounding jusqu'au recrawl.
4. Si vous voulez des citations dans Gemini Apps, autorisez explicitement Google-Extended. Une fois le token adopté, le silence se lit comme un refus.
5. Ajoutez le groupe du token délibérément, chemin par chemin, en prenant l'exemple du brouillon comme modèle.
6. Vérifiez et re-vérifiez chaque mois. La méthode manuelle prend un après-midi et aucun outil.

La fenêtre avant l'application

Au 4 novembre 2026, aucune des quatre entreprises n'applique encore le token, et l'adoption est proche de zéro. joinmassive a vérifié 49 sites d'actualité le 1er novembre et n'a trouvé zéro déploiement du token ; 10 des 33 pages d'accueil qu'il a pu charger portent encore des balises NoArchive ou NoCache (joinmassive).

Notre place dans tout ça

Nous construisons des diagnostics de visibilité pour vivre, et l'accès des crawlers en est le cœur. La vérification instantanée gratuite de CiteGap lit votre robots.txt et signale quels crawlers IA sont bloqués : GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended. Cela prend quelques secondes. Pour le tableau complet de ce que l'IA dit de votre produit, le diagnostic écrit pose 30 questions d'acheteurs et vous rend une liste de correctifs.

Lancer la vérification instantanée gratuite

Questions fréquentes

Qu'est-ce que le token __usage_ai-training dans robots.txt ?

Un « token de politique » partagé, défini dans l'Internet-Draft IETF draft-kelley-aipref-training-preference-signal-00. Le site écrit dans robots.txt un groupe standard sous User-agent: __usage_ai-training ; ses règles Disallow et Allow expriment, chemin par chemin, si le contenu peut être utilisé pour l'entraînement d'IA générative. Google, Microsoft Bing, OpenAI et Anthropic ont annoncé le 30 octobre 2026 qu'ils l'appliqueraient, à partir de début 2027.

Qu'est-ce que le token ai-grounding ?

La préférence de grounding IA de Bing, au niveau de la page. Une balise meta comme <meta name="Bingbot" content="ai-grounding:disallow"> (ou un en-tête X-Robots-Tag) retire la page des réponses générées par IA ; ai-grounding:disallowextended la garde éligible aux expériences propriétaires de Microsoft comme Copilot tout en fermant les services de grounding vendus à des tiers. robots.txt n'a pas de préférence de grounding au niveau du site ; sans publication, c'est Allow.

User-agent: * Disallow: / fait-il sortir mon site de l'entraînement IA ?

Non. Le brouillon précise que les groupes wildcard ne comptent pas comme correspondance avec le token de politique et qu'un robots.txt sans groupe __usage_ai-training n'exprime aucune préférence. Le blocage global continue de ne régir que le crawling, et crawler et utiliser sont des interrupteurs distincts.

Un opt-out d'entraînement IA pénalise-t-il mon référencement Google ?

Non. La documentation des crawlers de Google indique que Google-Extended n'influence ni l'inclusion d'un site dans la Recherche Google ni son classement (officiel), et Google lit le token partagé via Google-Extended. Microsoft dit la même chose pour les résultats Bing ordinaires.

Faut-il bloquer les crawlers IA dans robots.txt ?

Séparez les interrupteurs. Les chemins vraiment sensibles restent bloqués au crawling comme aujourd'hui. Les préférences d'entraînement s'expriment via le token partagé, chemin par chemin. Ce qui doit être cité garde des portes ouvertes aux crawlers de réponse (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) et aux fetchers déclenchés par l'utilisateur ; les bloquer efface vos pages des réponses que voient les acheteurs.

Quand les entreprises d'IA appliqueront-elles le token ?

Microsoft Bing démarre le 1er février 2027 (officiel). Google vise 2027, la documentation des crawlers parlant de début 2027. OpenAI évoque « dans les prochains mois » (officiel). Anthropic a déjà commencé. Au 4 novembre 2026, aucune entreprise n'applique encore le token.

Sources

• 3.83:10.91:1Ratios blocage-autorisation, crawler d'entraînement Bytespider 3.83:1 contre crawler de réponse OAI-SearchBot 0.91:1 (Cloudflare Radar, cliché du 28 septembre 2026, 4 242 fichiers robots.txt ; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1) : analyse TechnologyChecker des données Cloudflare Radar
• 19.9%11.4%19.9% des sites bloquent au moins un crawler d'entraînement IA à la racine contre 11.4% pour un crawler de recherche IA ; 454 des 874 bloqueurs de GPTBot autorisent OAI-SearchBot (crawl indépendant, 5 467 fichiers robots.txt, octobre 2026) : étude robots.txt 2026 de Citevisor
• 41%41% des sites B2B bloquent au moins un grand bot IA (audit de cohorte T1 2026 ; benchmark fournisseur, clientèle propre de CapstonAI) : guide robots.txt de CapstonAI
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, « Machine-Readable Training Preference Signal » (Kevin Kelley, Anthropic, 30 octobre 2026 ; sémantique du token, indépendance du crawl, règles wildcard et de précédence) : datatracker.ietf.org
• Message d'annonce de Kelley sur la liste du groupe de travail IETF (état d'implémentation d'Anthropic ; « n'exprime aucune préférence du tout ») : mailarchive.ietf.org
• Google Search Central Blog, « Supporting a shared AI training control for websites » (John Mueller, 30 octobre 2026 ; interprétation Google-Extended, éligibilité de grounding Gemini Apps, objectif 2027) : developers.google.com
• Documentation des crawlers Google, token Google-Extended (aucun effet sur l'inclusion ou le classement dans la Search ; périmètre du grounding ; note de support début 2027) : developers.google.com
• Microsoft Bing Blog, « Your content, your choice: clearer preferences for training and grounding » (Krishna Madhavan, 30 octobre 2026 ; contrôles ai-training / ai-grounding au niveau de la page, DisallowExtended, calendrier 1er février / 1er mars / 30 septembre 2027, retrait de NoArchive et NoCache) : blogs.bing.com
• OpenAI, « Making it easier for websites to express AI training preferences » (30 octobre 2026 ; « coming months » ; les contrôles de crawlers existants continuent) : openai.com
• The Verge, couverture de l'adoption par les quatre entreprises et du non-engagement de Meta (30 octobre 2026) : theverge.com
• joinmassive, vérification de déploiement sur 49 sites d'actualité le 1er novembre 2026 (0 token déployé ; 10 des 33 pages d'accueil chargeables portent encore NoArchive/NoCache) : joinmassive.com