2026 年 10 月 30 日，Google、微软 Bing、OpenAI 和 Anthropic 先后宣布，将认一个共享的 robots.txt AI 训练退出令牌 __usage_ai-training。Bing 还把 grounding 拆成独立的页面级控制。一刀切式屏蔽在这轮变化里代价最高：一家厂商基准审计显示，41% 的 B2B 网站仍在这么设。每个开关管什么、2027 年 2 月 1 日强制开始前该修什么，下面说清楚。
10 月 30 日变了什么
robots.txt 里的一行字，现在能同时对四家 AI 公司说话。Internet-Draft draft-kelley-aipref-training-preference-signal-00 由 Anthropic 的 Kevin Kelley 起草，10 月 30 日发布，定义了一个“policy token”（策略令牌）__usage_ai-training。网站在 robots.txt 里按普通写法写一个以该令牌为 User-Agent 的组，参与的服务商就会把它读作网站对自己内容用于生成式 AI 训练的偏好。四家公司当天都表态支持（heise 报道）。
草案自带的示例是把整站退出训练、只留一个目录：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/这套机制没有新增语法。令牌下的路径规则遵循 RFC 9309（robots.txt 标准），包括最长匹配优先；不认识这个令牌的解析器会像对待其他未知 User-Agent 一样忽略这个组。草案是个人提交，没有正式的 IETF 地位；若不修订，2027 年 5 月 3 日到期。支持是公布了，还没上线，各家给的日期也不同：
| 提供方 | 公布内容 | 生效时间 |
|---|---|---|
| 微软 Bing | 训练用共享令牌，另有新的页面级 ai-training 和 ai-grounding 控制。NoArchive 和 NoCache 退役。 |
2027 年 2 月 1 日；旧标签 2027 年 3 月 1 日起不再计数（官方） |
| 共享令牌。未单独声明 Google-Extended 时，令牌退出会被读作 Google-Extended 禁令。 | 目标 2027 年；爬虫文档写的是 2027 年初（官方） | |
| OpenAI | 共享信号。现有 GPTBot 和 OAI-SearchBot 控制保持不变。 | “未来几个月内”（官方） |
| Anthropic | 草案作者。实现已在其各服务中开始。 | 进行中（官方） |
Meta 出现在草案致谢名单里，也公开欢迎了这个信号，但没有承诺执行（The Verge）。今天真正遵守这个令牌的公司是四家。把它当成四家承诺会读的偏好声明即可，别当成互联网的法律。
训练、grounding、抓取是三个不同的开关
令牌说的是内容可以怎么用，不是爬虫能不能抓。“This policy token is not a directive for crawling behavior”，草案原话。现在有三个独立开关：抓取权限（不变，按爬虫分别设规则）、训练用途（新的共享令牌）、grounding 用途（喂给 AI 回答的内容；微软是页面级控制，Google 是 Google-Extended）。
草案里有四条限制比语法本身更重要：
- 通配规则不算数。草案原文：通配组（即 User-agent: *）不得被解读为匹配该策略令牌。在
*下的全局Disallow: /挡住的是爬虫，不表达任何训练偏好。 - 没有组等于没有偏好。文件里没有这个令牌，就是“完全不表达任何偏好”。沉默不是拒绝。
- 私下协议可以覆盖。草案允许私人协议覆盖本机制表达的偏好。
- 专有胜过通用。使用方可以把 Google-Extended 或 GPTBot 这类专有令牌视为比共享令牌更具体的指令。
Google 把共享令牌接到 Google-Extended 开关上。其 Search Central 公告说：网站用令牌退出且未提及 Google-Extended 时，Google 计划把它读作“发布者已禁止 Google-Extended”（官方）。Google-Extended 管 Gemini 模型的训练和 Gemini Apps、Vertex AI 的 grounding，而且“不影响网站在 Google 搜索中的收录，也不用作排名信号”（官方文档）。同一份文档还说，明确允许 Google-Extended 的网站有资格出现在 Gemini Apps 的回答里并获得点击。把这两句官方表态放在一起，我们的解读（不是 Google 的原话）是：放着不管的一刀切训练退出，也会把网站从 Gemini Apps 的 grounding 里摘出去。想要这些引用，就明确允许 Google-Extended。
Bing 走得更远，把 grounding 做成了独立的页面级设置，用 meta 标签或 X-Robots-Tag 头承载（官方）：
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">robots.txt 没有全站级 grounding 偏好；grounding 只在页面级。DisallowExtended 让内容保留在 Copilot、AI Mode、Microsoft 365 这类微软自营体验的资格里，同时不对微软卖给第三方的 grounding 服务（如 Web IQ）开放。两项偏好未发布时默认 Allow。微软自己的提醒是：选 Disallow 或 DisallowExtended 会显著降低你在 AI 生成体验中的可见度，但都不影响常规 Bing 结果里的资格。
一刀切屏蔽是最贵的错误
把“AI 爬虫”当成一类来屏蔽，从来都是归类错误。训练爬虫和回答爬虫是不同的 User-Agent，屏蔽后者等于把网站从买家看到的回答里删掉。新的控制项让这个区别躲不开了。
市场已经在区分这两类，只是分得参差不齐。Cloudflare Radar 2026 年 9 月 28 日对 4,242 份 robots.txt 的快照显示，各大训练爬虫被禁多于被允许：Bytespider 3.83:1，CCBot 2.61:1，GPTBot 1.60:1，ClaudeBot 1.58:1，Google-Extended 1.38:1（Cloudflare Radar 数据，TechnologyChecker 整理）。回答类爬虫正好反过来：OAI-SearchBot 0.91:1，bingbot 0.99:1。另一项对 5,467 份 robots.txt 的独立抓取发现，19.9% 的网站在根路径屏蔽至少一个训练爬虫，只有 11.4% 屏蔽 AI 搜索爬虫；874 个屏蔽 GPTBot 的网站里，454 个仍允许 OAI-SearchBot（Citevisor，2026 年 10 月）。分清两类开关的运营者，把该开的门留住了。
没分清的，就是那个警示数字。CapstonAI 2026 年一季度客户队列审计（厂商基准，样本来自其自有客户）显示，41% 的 B2B 网站屏蔽至少一个主流 AI bot，多半是 2023 到 2024 年“全部屏蔽”恐慌留下的旧账（CapstonAI）。那些规则写下的时刻，唯一可用的开关是抓取级总闸。2027 年 2 月 1 日起开关分开，还在错误层面屏蔽的网站，会悄无声息地从自己没想退出的回答里消失。买家现在从回答开始找东西，这一点很关键；我们上一篇笔记写过为什么被 AI 提名比 Google 排名更重要。
该屏蔽什么，该放开什么
按内容类型决定，不按公司决定。训练是权利决定，现在可以按路径一次性表达。回答爬虫和用户触发的抓取器是分发渠道：想让什么被引用，就给它们开门。
| 内容类型 | 训练（新令牌） | 回答与用户抓取爬虫 |
|---|---|---|
| 想被引用的公开页面 | 用 __usage_ai-training 按路径声明偏好。 |
放开。屏蔽这些等于把自己从买家的回答里删掉。 |
| 付费墙、授权或高级内容 | Disallow，用令牌组或按 bot 规则。 | 你自己定。grounding 是 Bing 页面级 ai-grounding 设置的事。 |
| 希望被使用的内容（媒体资料包、开放数据） | Allow。草案自带的示例就是这种。 | 放开。 |
| 预发、后台、内部路径 | 照旧用产品令牌或 * 屏蔽抓取。 |
一样。令牌管的是使用，不是访问。 |
有一行需要加个注。用户触发的抓取器（ChatGPT-User、Claude-User、Perplexity-User）在有人在聊天里问到你的情况时触发。OpenAI 文档说 robots.txt 可能不适用于 ChatGPT-User；Perplexity 说 Perplexity-User 一般会忽略它（Citevisor）。对这一类，robots.txt 是个弱工具。
2027 年 2 月 1 日前该做什么
现在还没有任何强制，这正是未来三个月值得用起来的原因。修复只在引擎重新抓取后才生效，微软也提醒：发布设置不等于激活设置。顺序如下：
- 今天就读一遍你的 robots.txt。列出里面每个 AI 令牌，按训练、回答、用户抓取分类。我们的免费即时检查几秒钟就能跑完第一遍。
- 清掉过期的一刀切屏蔽。2023 到 2024 年“图个安心”加的东西，都该对着上面的表重新决定一次。
- 如果发布了 NoArchive 或 NoCache，2027 年 3 月 1 日前行动：发布新偏好，并在 Bing Webmaster Tools 记录临时 grounding 偏好，该入口 2026 年 12 月 15 日开放。错过日期，这些页面在被重新抓取前默认 Allow grounding。
- 想要 Gemini Apps 引用，就明确允许 Google-Extended。一旦采用令牌，沉默会被读作禁止。
- 参照草案示例的样子，按路径有意地加上令牌组。
- 验证并每月复查。手动方法花一下午，不需要工具。
强制开始前的窗口期
截至 2026 年 11 月 4 日，四家公司还没有一家真正执行这个令牌，采用率接近零。joinmassive 11 月 1 日检查了 49 个新闻网站，令牌部署数为零；它能加载的 33 个首页里，10 个还挂着 NoArchive 或 NoCache 标签（joinmassive）。
我们能提供什么
我们靠可见度诊断吃饭，爬虫权限是其中的核心。CiteGap 的免费即时检查读取你的 robots.txt，报告哪些 AI 爬虫被挡：GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended。几秒钟出结果。想看 AI 对你产品的完整说法，书面诊断会跑 30 个买家问题并给你一份修复清单。
常见问题
robots.txt 里的 __usage_ai-training 令牌是什么？
IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00 定义的一个共享“策略令牌”。网站在 User-Agent: __usage_ai-training 下按普通 robots.txt 写法写一个组，组里的 Disallow 和 Allow 规则表达网站对每条路径用于生成式 AI 训练的偏好。Google、微软 Bing、OpenAI 和 Anthropic 已于 2026 年 10 月 30 日宣布将执行它，各家起始时间从 2027 年初起不等。
ai-grounding 令牌是什么？
微软的页面级 AI Grounding 偏好。用 <meta name="Bingbot" content="ai-grounding:disallow"> 这样的 meta 标签（或 X-Robots-Tag 头）可以把页面挡在 AI 生成回答之外；用 ai-grounding:disallowextended 则保留 Copilot 等微软自营体验的资格，同时不对第三方 grounding 服务开放。robots.txt 没有全站级 grounding 偏好，未发布时 grounding 默认 Allow。
User-agent: * Disallow: / 能让我的网站退出 AI 训练吗？
不能。草案写明通配组不得被解读为匹配该策略令牌，而没有 __usage_ai-training 组的 robots.txt 完全不表达任何偏好。一刀切屏蔽管的仍是抓取，抓取和使用是两个独立的开关。
AI 训练退出会伤害我的 Google 搜索排名吗？
不会。Google 爬虫文档写明 Google-Extended 不影响网站在 Google 搜索中的收录，也不用作排名信号（官方），共享令牌正是通过 Google-Extended 控制读取的。微软同样表示其新偏好不改变常规 Bing 搜索结果中的资格。
我该在 robots.txt 里屏蔽 AI 爬虫吗？
把开关分开。真正敏感的路径照旧屏蔽抓取。训练偏好用共享令牌按路径表达。想让什么被引用，回答爬虫（OAI-SearchBot、Claude-SearchBot、PerplexityBot、bingbot）和用户触发的抓取器就保持开放，屏蔽它们等于把你的页面从买家看到的回答里删掉。
AI 公司什么时候开始执行这个令牌？
微软 Bing 从 2027 年 2 月 1 日开始（官方）。Google 目标 2027 年，其爬虫文档写的是 2027 年初。OpenAI 说“未来几个月内”（官方）。Anthropic 已开始实现。截至 2026 年 11 月 4 日，还没有公司真正执行。
来源
- 屏蔽与允许之比：训练爬虫 Bytespider 3.83:1，回答爬虫 OAI-SearchBot 0.91:1（Cloudflare Radar，2026 年 9 月 28 日快照，4,242 份 robots.txt；GPTBot 1.60:1，ClaudeBot 1.58:1，Google-Extended 1.38:1，CCBot 2.61:1，bingbot 0.99:1）：TechnologyChecker 对 Cloudflare Radar 数据的分析
- 19.9% 的网站在根路径屏蔽至少一个 AI 训练爬虫，11.4% 屏蔽 AI 搜索爬虫；874 个屏蔽 GPTBot 的站点中 454 个允许 OAI-SearchBot（独立抓取，5,467 份 robots.txt，2026 年 10 月）：Citevisor 2026 robots.txt 研究
- 41% 的 B2B 网站屏蔽至少一个主流 AI bot（2026 年一季度队列审计；厂商基准，CapstonAI 自有客户）：CapstonAI robots.txt 指南
- IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00，“Machine-Readable Training Preference Signal”（Kevin Kelley，Anthropic，2026 年 10 月 30 日；令牌语义、与抓取无关、通配与优先级规则）：datatracker.ietf.org
- Kelley 发到 IETF 工作组邮件列表的公告（Anthropic 实现状态；“完全不表达任何偏好”）：mailarchive.ietf.org
- Google Search Central Blog，“Supporting a shared AI training control for websites”（John Mueller，2026 年 10 月 30 日；Google-Extended 解读、Gemini Apps grounding 资格、2027 年目标）：developers.google.com
- Google 爬虫文档，Google-Extended 令牌（不影响搜索收录与排名；grounding 范围；2027 年初支持备注）：developers.google.com
- Microsoft Bing Blog，“Your content, your choice: clearer preferences for training and grounding”（Krishna Madhavan，2026 年 10 月 30 日；页面级 ai-training / ai-grounding 控制、DisallowExtended、时间表 2027 年 2 月 1 日 / 3 月 1 日 / 9 月 30 日、NoArchive 与 NoCache 退役）：blogs.bing.com
- OpenAI，“Making it easier for websites to express AI training preferences”（2026 年 10 月 30 日；“未来几个月”；现有爬虫控制继续有效）：openai.com
- The Verge，四家公司采纳与 Meta 未承诺的报道（2026 年 10 月 30 日）：theverge.com
- joinmassive，2026 年 11 月 1 日对 49 个新闻网站的部署检查（0 个令牌部署；33 个可加载首页中 10 个仍带 NoArchive/NoCache）：joinmassive.com