Os tokens de treinamento de IA do robots.txt chegaram: o que bloquear, o que deixar aberto

Em 30 de outubro de 2026, Google, Microsoft Bing, OpenAI e Anthropic anunciaram, cada uma, que vão honrar um único token compartilhado do robots.txt para opt-outs de treinamento de IA, o __usage_ai-training. A Bing também separa o grounding em um controle próprio no nível da página. A mudança pune o bloqueio global, que uma auditoria de benchmark de fornecedor coloca em 41% dos sites B2B. Veja o que cada interruptor controla e o que corrigir antes da aplicação começar em 1º de fevereiro de 2027.

O que mudou em 30 de outubro

Uma linha no robots.txt agora fala com quatro empresas de IA ao mesmo tempo. O Internet-Draft draft-kelley-aipref-training-preference-signal-00, escrito por Kevin Kelley, da Anthropic, e publicado em 30 de outubro, define um “token de política”, o __usage_ai-training. O site escreve um grupo comum de robots.txt sob esse token, e os provedores participantes o leem como a preferência do site sobre o uso do seu conteúdo para treinamento de IA generativa. As quatro empresas endossaram no mesmo dia.

O exemplo do próprio rascunho tira o site inteiro do treinamento, exceto uma pasta:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

O mecanismo não adiciona sintaxe nova. As regras de rota sob o token seguem a RFC 9309, o padrão do robots.txt, incluindo precedência de correspondência mais longa, e parsers que não conhecem o token ignoram o grupo como qualquer user agent desconhecido. O rascunho é uma submissão individual sem posição formal na IETF; expira em 3 de maio de 2027 se não for revisado. O suporte foi anunciado, não está ativo, e cada empresa deu uma data diferente:

A Meta é citada nos agradecimentos do rascunho e recebeu o sinal publicamente, mas não se comprometeu a honrá-lo (The Verge). A lista de empresas que de fato obedecem ao token tem quatro nomes hoje. Trate-o como uma preferência que essas quatro prometeram ler, não como uma lei da web.

Treinamento, grounding e rastreamento são três interruptores diferentes

O token diz como o conteúdo pode ser usado, não se um crawler pode buscá-lo. “This policy token is not a directive for crawling behavior”, afirma o rascunho. Três interruptores separados estão agora em jogo: acesso de rastreamento (inalterado, regras por crawler); uso para treinamento (o novo token compartilhado); e uso para grounding, que alimenta respostas de IA (controles no nível da página na Microsoft; Google-Extended no Google).

Quatro limites do rascunho importam mais que a sintaxe:

1. Regras curinga não contam. “Wildcard groups (i.e., User-agent: *) MUST NOT be interpreted as matching the policy token.” Um Disallow: / global sob * bloqueia crawlers, mas não expressa preferência de treinamento.
2. Sem grupo, sem preferência. Um arquivo sem o token “expressa preferência nenhuma”. Silêncio não é um não.
3. Acordos privados prevalecem. “Private agreements MAY override preferences expressed via this mechanism.”
4. Específico vence geral. Quem consome pode tratar tokens proprietários como Google-Extended ou GPTBot como mais específicos que o compartilhado.

O Google encaminha o token compartilhado para o interruptor do Google-Extended. O anúncio do Search Central diz que, quando um site opta out pelo token e não menciona o Google-Extended, o Google planeja ler isso “como se o publicador tivesse negado o Google-Extended” (oficial). O Google-Extended governa o treinamento dos modelos Gemini e o grounding nos Gemini Apps e no Vertex AI, e “não afeta a inclusão de um site na Busca Google nem é usado como sinal de classificação” (documentação oficial). A mesma documentação observa que sites que permitem o Google-Extended especificamente estão elegíveis para aparecer nas respostas dos Gemini Apps e receber cliques. Juntando as duas declarações oficiais, nossa leitura, não uma frase do Google, é esta: um opt-out de treinamento global, deixado sem revisão, também tira o site do grounding nos Gemini Apps. Se você quer essas citações, permita o Google-Extended explicitamente.

A Bing foi além e fez do grounding uma configuração própria no nível da página, carregada por uma meta tag ou um cabeçalho X-Robots-Tag (oficial):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Não existe preferência de grounding no robots.txt para o site inteiro; o grounding é só no nível da página. O DisallowExtended mantém o conteúdo elegível para experiências operadas pela Microsoft, como Copilot, AI Mode e Microsoft 365, enquanto o retira dos serviços de grounding que a Microsoft vende a terceiros, como o Web IQ. As duas preferências têm Allow como padrão quando nada é publicado. O aviso da própria Microsoft: escolher Disallow ou DisallowExtended reduz significativamente sua visibilidade nas experiências geradas por IA, embora nenhuma das duas mude a elegibilidade nos resultados comuns da Bing.

O bloqueio global é o erro caro

Bloquear “os bots de IA” como um grupo sempre foi um erro de categoria. Crawlers de treinamento e crawlers de resposta são user agents diferentes, e bloquear o segundo tipo remove um site das respostas que os compradores veem. Os novos controles tornam a distinção impossível de evitar.

O mercado já separa os dois, de forma desigual. O retrato de 28 de setembro de 2026 do Cloudflare Radar sobre 4.242 arquivos robots.txt mostra que cada grande crawler de treinamento é mais desautorizado do que autorizado: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (dados do Cloudflare Radar via TechnologyChecker). Os crawlers de resposta invertem a tendência: OAI-SearchBot 0.91:1, bingbot 0.99:1. Um rastreamento independente de 5.467 arquivos robots.txt encontrou 19.9% dos sites bloqueando ao menos um crawler de treinamento na raiz, contra 11.4% bloqueando um crawler de busca de IA, e 454 dos 874 bloqueadores de GPTBot ainda permitindo OAI-SearchBot (Citevisor, outubro de 2026). Quem entendeu a separação manteve a porta certa aberta.

Quem não entendeu é o número preventivo. A auditoria de coorte do Q1 2026 da CapstonAI (um benchmark de fornecedor, tirado da própria base de clientes) coloca 41% dos sites B2B bloqueando ao menos um grande bot de IA, normalmente um resíduo do pânico de 2023-2024 de “bloquear tudo” (CapstonAI). Cada um desses bloqueios foi escrito quando o único interruptor disponível era o kill switch no nível do rastreamento. A partir de 1º de fevereiro de 2027 os interruptores se separam, e um site que segue bloqueando na camada errada desaparece em silêncio de respostas das quais nunca quis sair. Isso importa porque as respostas são onde os compradores começam agora; nossa nota anterior cobre por que ser citado pelo nome pela IA ganha do posicionamento no Google.

O que bloquear e o que deixar aberto

Decida por tipo de conteúdo, não por empresa. O treinamento é uma decisão de direitos que agora você expressa uma vez, rota por rota. Crawlers de resposta e fetchers acionados por usuário são distribuição: deixe-os abertos para tudo que você quer ver citado.

Uma linha merece uma ressalva. Os fetchers acionados por usuário (ChatGPT-User, Claude-User, Perplexity-User) disparam quando uma pessoa pergunta sobre você dentro de um chat. A OpenAI documenta que o robots.txt talvez não se aplique ao ChatGPT-User, e a Perplexity diz que o Perplexity-User geralmente o ignora (Citevisor). Para esse grupo, o robots.txt é um instrumento fraco.

O que fazer antes de 1º de fevereiro de 2027

Nada está aplicado ainda, e é exatamente por isso que os próximos três meses valem a pena. As correções só fazem efeito depois que os motores re-rastreiam o site, e a Microsoft avisa que publicar uma configuração não é o mesmo que ativá-la. A sequência:

1. Leia seu robots.txt hoje. Liste cada token de IA nele e classifique-os em treinamento, resposta e fetch de usuário. Nossa verificação instantânea gratuita faz a primeira passada em segundos.
2. Remova os bloqueios globais vencidos. Tudo que foi adicionado em 2023-2024 “por precaução” merece uma decisão nova frente à tabela acima.
3. Se você publica NoArchive ou NoCache, aja antes de 1º de março de 2027: publique as novas preferências e registre a preferência temporária de grounding no Bing Webmaster Tools, que abre em 15 de dezembro de 2026. Perdida a data, essas páginas ficam Allow para grounding por padrão até o re-rastreamento.
4. Se você quer citações nos Gemini Apps, permita o Google-Extended explicitamente. Depois de adotar o token, silêncio é lido como disallow.
5. Adicione o grupo do token de forma deliberada, rota por rota, usando o exemplo do rascunho como padrão.
6. Verifique e re-verifique todo mês. O método manual leva uma tarde e nenhuma ferramenta.

A janela antes da aplicação

Em 4 de novembro de 2026, nenhuma das quatro empresas aplica ainda o token, e a adoção é quase zero. A joinmassive checou 49 sites de notícias em 1º de novembro e encontrou zero implantações do token; 10 das 33 páginas iniciais que conseguiu carregar ainda têm tags NoArchive ou NoCache (joinmassive).

Onde nós entramos

Construímos diagnósticos de visibilidade para viver, e o acesso dos crawlers é o núcleo deles. A verificação instantânea gratuita da CiteGap lê seu robots.txt e informa quais crawlers de IA estão bloqueados: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended. Leva segundos. Para o quadro completo do que a IA diz sobre seu produto, o diagnóstico escrito roda 30 perguntas de comprador e entrega uma lista de correções.

Rodar a verificação instantânea gratuita

Perguntas frequentes

O que é o token __usage_ai-training no robots.txt?

Um “token de política” compartilhado, definido no Internet-Draft da IETF draft-kelley-aipref-training-preference-signal-00. O site escreve no robots.txt um grupo comum sob User-Agent: __usage_ai-training, e as regras Disallow e Allow sob ele expressam a preferência do site sobre o uso de cada rota para treinamento de IA generativa. Google, Microsoft Bing, OpenAI e Anthropic anunciaram em 30 de outubro de 2026 que vão honrá-lo, com datas de início do início de 2027 em diante, variando por empresa.

O que é o token ai-grounding?

A preferência de AI Grounding da Microsoft, no nível da página. Configure com <meta name="Bingbot" content="ai-grounding:disallow"> (ou o cabeçalho X-Robots-Tag) para tirar uma página das respostas geradas por IA, ou ai-grounding:disallowextended para permitir experiências operadas pela Microsoft como Copilot enquanto nega os serviços de grounding de terceiros. Não existe preferência de grounding no robots.txt para o site inteiro, e o grounding fica Allow por padrão quando nada é publicado.

User-agent: * Disallow: / tira meu site do treinamento de IA?

Não. O rascunho diz que grupos curinga não devem ser interpretados como correspondências ao token de política, e um robots.txt sem grupo __usage_ai-training não expressa preferência alguma. O bloqueio global continua regendo o crawling, que é um interruptor separado do uso.

Um opt-out de treinamento de IA prejudica meu posicionamento no Google?

Não. A documentação de crawlers do Google afirma que o Google-Extended não afeta a inclusão de um site na Busca Google e não é usado como sinal de classificação lá (oficial), e o token compartilhado é lido pelo controle Google-Extended. A Microsoft também diz que suas novas preferências não mudam a elegibilidade nos resultados comuns da Busca Bing.

Devo bloquear os crawlers de IA no robots.txt?

Separe os interruptores. Bloqueie o rastreamento das rotas realmente sensíveis como sempre fez. Expresse sua preferência de treinamento pelo token compartilhado, rota por rota. Deixe os crawlers de resposta (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) e os fetchers acionados por usuário abertos para tudo que você quer ver citado, porque bloqueá-los remove suas páginas das respostas que os compradores veem.

Quando as empresas de IA vão começar a honrar o token?

A Microsoft Bing começa em 1º de fevereiro de 2027 (oficial). O Google mira 2027, sua documentação de crawlers fala em início de 2027. A OpenAI diz “nos próximos meses” (oficial). A Anthropic já começou a implementar. Em 4 de novembro de 2026, nenhuma empresa honra ainda o token.

Fontes

• 3.83:10.91:1Razões bloqueio-permissão, crawler de treinamento Bytespider 3.83:1 contra crawler de resposta OAI-SearchBot 0.91:1 (Cloudflare Radar, retrato de 28 de setembro de 2026, 4.242 arquivos robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): análise da TechnologyChecker dos dados do Cloudflare Radar
• 19.9%11.4%19.9% dos sites bloqueiam ao menos um crawler de treinamento de IA na raiz contra 11.4% bloqueando um crawler de busca de IA; 454 de 874 bloqueadores de GPTBot permitem OAI-SearchBot (rastreamento independente, 5.467 arquivos robots.txt, outubro de 2026): estudo robots.txt 2026 da Citevisor
• 41%41% dos sites B2B bloqueiam ao menos um grande bot de IA (auditoria de coorte Q1 2026; benchmark de fornecedor, base de clientes própria da CapstonAI): guia robots.txt da CapstonAI
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, “Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 de outubro de 2026; semântica do token, independência do rastreamento, regras de curinga e precedência): datatracker.ietf.org
• Post de anúncio de Kelley na lista do grupo de trabalho da IETF (estado da implementação da Anthropic; “não expressa preferência alguma”): mailarchive.ietf.org
• Google Search Central Blog, “Supporting a shared AI training control for websites” (John Mueller, 30 de outubro de 2026; interpretação do Google-Extended, elegibilidade de grounding nos Gemini Apps, meta 2027): developers.google.com
• Documentação de crawlers do Google, token Google-Extended (sem efeito na inclusão na Busca nem na classificação; escopo do grounding; nota de suporte no início de 2027): developers.google.com
• Microsoft Bing Blog, “Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 de outubro de 2026; controles ai-training / ai-grounding no nível da página, DisallowExtended, cronograma 1º de fevereiro / 1º de março / 30 de setembro de 2027, aposentadoria de NoArchive e NoCache): blogs.bing.com
• OpenAI, “Making it easier for websites to express AI training preferences” (30 de outubro de 2026; “coming months”; controles de crawler existentes continuam): openai.com
• The Verge, cobertura da adoção pelas quatro empresas e do não compromisso da Meta (30 de outubro de 2026): theverge.com
• joinmassive, checagem de implantação em 49 sites de notícias em 1º de novembro de 2026 (0 tokens implantados; 10 de 33 páginas iniciais carregáveis ainda têm NoArchive/NoCache): joinmassive.com