2026 年 10 月 30 日，Google、微軟 Bing、OpenAI 和 Anthropic 先後宣佈，將認一個共享的 robots.txt AI 訓練退出令牌 __usage_ai-training。Bing 還把 grounding 拆成獨立的頁面級控制。一刀切式屏蔽在這輪變化裏代價最高：一家廠商基準審計顯示，41% 的 B2B 網站仍在這麼設。每個開關管什麼、2027 年 2 月 1 日強制開始前該修什麼，下面說清楚。
10 月 30 日變了什麼
robots.txt 裏的一行字，現在能同時對四家 AI 公司說話。Internet-Draft draft-kelley-aipref-training-preference-signal-00 由 Anthropic 的 Kevin Kelley 起草，10 月 30 日發佈，定義了一個“policy token”（策略令牌）__usage_ai-training。網站在 robots.txt 裏按普通寫法寫一個以該令牌為 User-Agent 的組，參與的服務商就會把它讀作網站對自己內容用於生成式 AI 訓練的偏好。四家公司當天都表態支持（heise 報道）。
草案自帶的示例是把整站退出訓練、只留一個目錄：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/這套機制沒有新增語法。令牌下的路徑規則遵循 RFC 9309（robots.txt 標準），包括最長匹配優先；不認識這個令牌的解析器會像對待其他未知 User-Agent 一樣忽略這個組。草案是個人提交，沒有正式的 IETF 地位；若不修訂，2027 年 5 月 3 日到期。支持是公佈了，還沒上線，各家給的日期也不同：
| 提供方 | 公佈內容 | 生效時間 |
|---|---|---|
| 微軟 Bing | 訓練用共享令牌，另有新的頁面級 ai-training 和 ai-grounding 控制。NoArchive 和 NoCache 退役。 |
2027 年 2 月 1 日；舊標籤 2027 年 3 月 1 日起不再計數（官方） |
| 共享令牌。未單獨聲明 Google-Extended 時，令牌退出會被讀作 Google-Extended 禁令。 | 目標 2027 年；爬蟲文檔寫的是 2027 年初（官方） | |
| OpenAI | 共享信號。現有 GPTBot 和 OAI-SearchBot 控制保持不變。 | “未來幾個月內”（官方） |
| Anthropic | 草案作者。實現已在其各服務中開始。 | 進行中（官方） |
Meta 出現在草案致謝名單裏，也公開歡迎了這個信號，但沒有承諾執行（The Verge）。今天真正遵守這個令牌的公司是四家。把它當成四家承諾會讀的偏好聲明即可，別當成互聯網的法律。
訓練、grounding、抓取是三個不同的開關
令牌說的是內容可以怎麼用，不是爬蟲能不能抓。“This policy token is not a directive for crawling behavior”，草案原話。現在有三個獨立開關：抓取權限（不變，按爬蟲分別設規則）、訓練用途（新的共享令牌）、grounding 用途（餵給 AI 回答的內容；微軟是頁面級控制，Google 是 Google-Extended）。
草案裏有四條限制比語法本身更重要：
- 通配規則不算數。草案原文：通配組（即 User-agent: *）不得被解讀為匹配該策略令牌。在
*下的全局Disallow: /擋住的是爬蟲，不表達任何訓練偏好。 - 沒有組等於沒有偏好。文件裏沒有這個令牌，就是“完全不表達任何偏好”。沉默不是拒絕。
- 私下協議可以覆蓋。草案允許私人協議覆蓋本機制表達的偏好。
- 專有勝過通用。使用方可以把 Google-Extended 或 GPTBot 這類專有令牌視為比共享令牌更具體的指令。
Google 把共享令牌接到 Google-Extended 開關上。其 Search Central 公告說：網站用令牌退出且未提及 Google-Extended 時，Google 計劃把它讀作“發佈者已禁止 Google-Extended”（官方）。Google-Extended 管 Gemini 模型的訓練和 Gemini Apps、Vertex AI 的 grounding，而且“不影響網站在 Google 搜索中的收錄，也不用作排名信號”（官方文檔）。同一份文檔還說，明確允許 Google-Extended 的網站有資格出現在 Gemini Apps 的回答裏並獲得點擊。把這兩句官方表態放在一起，我們的解讀（不是 Google 的原話）是：放着不管的一刀切訓練退出，也會把網站從 Gemini Apps 的 grounding 裏摘出去。想要這些引用，就明確允許 Google-Extended。
Bing 走得更遠，把 grounding 做成了獨立的頁面級設置，用 meta 標籤或 X-Robots-Tag 頭承載（官方）：
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">robots.txt 沒有全站級 grounding 偏好；grounding 只在頁面級。DisallowExtended 讓內容保留在 Copilot、AI Mode、Microsoft 365 這類微軟自營體驗的資格里，同時不對微軟賣給第三方的 grounding 服務（如 Web IQ）開放。兩項偏好未發佈時預設 Allow。微軟自己的提醒是：選 Disallow 或 DisallowExtended 會顯著降低你在 AI 生成體驗中的可見度，但都不影響常規 Bing 結果裏的資格。
一刀切屏蔽是最貴的錯誤
把“AI 爬蟲”當成一類來屏蔽，從來都是歸類錯誤。訓練爬蟲和回答爬蟲是不同的 User-Agent，屏蔽後者等於把網站從買家看到的回答裏刪掉。新的控制項讓這個區別躲不開了。
市場已經在區分這兩類，只是分得參差不齊。Cloudflare Radar 2026 年 9 月 28 日對 4,242 份 robots.txt 的快照顯示，各大訓練爬蟲被禁多於被允許：Bytespider 3.83:1，CCBot 2.61:1，GPTBot 1.60:1，ClaudeBot 1.58:1，Google-Extended 1.38:1（Cloudflare Radar 資料，TechnologyChecker 整理）。回答類爬蟲正好反過來：OAI-SearchBot 0.91:1，bingbot 0.99:1。另一項對 5,467 份 robots.txt 的獨立抓取發現，19.9% 的網站在根路徑屏蔽至少一個訓練爬蟲，只有 11.4% 屏蔽 AI 搜索爬蟲；874 個屏蔽 GPTBot 的網站裏，454 個仍允許 OAI-SearchBot（Citevisor，2026 年 10 月）。分清兩類開關的運營者，把該開的門留住了。
沒分清的，就是那個警示數字。CapstonAI 2026 年一季度客户隊列審計（廠商基準，樣本來自其自有客户）顯示，41% 的 B2B 網站屏蔽至少一個主流 AI bot，多半是 2023 到 2024 年“全部屏蔽”恐慌留下的舊帳（CapstonAI）。那些規則寫下的時刻，唯一可用的開關是抓取級總閘。2027 年 2 月 1 日起開關分開，還在錯誤層面屏蔽的網站，會悄無聲息地從自己沒想退出的回答裏消失。買家現在從回答開始找東西，這一點很關鍵；我們上一篇筆記寫過為什麼被 AI 提名比 Google 排名更重要。
該屏蔽什麼，該放開什麼
按內容類型決定，不按公司決定。訓練是權利層面的決定，現在可以按路徑一次性表達。回答爬蟲和用户觸發的抓取器是分發渠道：想讓什麼被引用，就給它們開門。
| 內容類型 | 訓練（新令牌） | 回答與用户抓取爬蟲 |
|---|---|---|
| 想被引用的公開頁面 | 用 __usage_ai-training 按路徑聲明偏好。 |
放開。屏蔽這些等於把自己從買家的回答裏刪掉。 |
| 付費牆、授權或高級內容 | Disallow，用令牌組或按 bot 規則。 | 你自己定。grounding 是 Bing 頁面級 ai-grounding 設置的事。 |
| 希望被使用的內容（媒體資料包、開放資料） | Allow。草案自帶的示例就是這種。 | 放開。 |
| 預發、後台、內部路徑 | 照舊用產品令牌或 * 屏蔽抓取。 |
一樣。令牌管的是使用，不是訪問。 |
有一行需要加個注。用户觸發的抓取器（ChatGPT-User、Claude-User、Perplexity-User）在有人在聊天裏問到你的情況時觸發。OpenAI 文檔說 robots.txt 可能不適用於 ChatGPT-User；Perplexity 說 Perplexity-User 一般會忽略它（Citevisor）。對這一類，robots.txt 是個弱工具。
2027 年 2 月 1 日前該做什麼
現在還沒有任何強制，這正是未來三個月值得用起來的原因。修復只在引擎重新抓取後才生效，微軟也提醒：發佈設置不等於激活設置。順序如下：
- 今天就讀一遍你的 robots.txt。列出裏面每個 AI 令牌，按訓練、回答、用户抓取分類。我們的免費即時檢查幾秒鐘就能跑完第一遍。
- 清掉過期的一刀切屏蔽。2023 到 2024 年“圖個安心”加的東西，都該對着上面的表重新決定一次。
- 如果發佈了 NoArchive 或 NoCache，2027 年 3 月 1 日前行動：發佈新偏好，並在 Bing Webmaster Tools 記錄臨時 grounding 偏好，該入口 2026 年 12 月 15 日開放。錯過日期，這些頁面在被重新抓取前預設 Allow grounding。
- 想要 Gemini Apps 引用，就明確允許 Google-Extended。一旦採用令牌，沉默會被讀作禁止。
- 參照草案示例的樣子，按路徑有意地加上令牌組。
- 驗證並每月複查。手動方法花一下午，不需要工具。
強制開始前的窗口期
截至 2026 年 11 月 4 日，四家公司還沒有一家真正執行這個令牌，採用率接近零。joinmassive 11 月 1 日檢查了 49 個新聞網站，令牌部署數為零；它能加載的 33 個首頁裏，10 個還掛着 NoArchive 或 NoCache 標籤（joinmassive）。
我們能提供什麼
我們靠可見度診斷吃飯，爬蟲權限是其中的核心。CiteGap 的免費即時檢查讀取你的 robots.txt，報告哪些 AI 爬蟲被擋：GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended。幾秒鐘出結果。想看 AI 對你產品的完整說法，書面診斷會跑 30 個買家問題並給你一份修復清單。
常見問題
robots.txt 裏的 __usage_ai-training 令牌是什麼？
IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00 定義的一個共享“策略令牌”。網站在 User-Agent: __usage_ai-training 下按普通 robots.txt 寫法寫一個組，組裏的 Disallow 和 Allow 規則表達網站對每條路徑用於生成式 AI 訓練的偏好。Google、微軟 Bing、OpenAI 和 Anthropic 已於 2026 年 10 月 30 日宣佈將執行它，各家起始時間從 2027 年初起不等。
ai-grounding 令牌是什麼？
微軟的頁面級 AI Grounding 偏好。用 <meta name="Bingbot" content="ai-grounding:disallow"> 這樣的 meta 標籤（或 X-Robots-Tag 頭）可以把頁面擋在 AI 生成回答之外；用 ai-grounding:disallowextended 則保留 Copilot 等微軟自營體驗的資格，同時不對第三方 grounding 服務開放。robots.txt 沒有全站級 grounding 偏好，未發佈時 grounding 預設 Allow。
User-agent: * Disallow: / 能讓我的網站退出 AI 訓練嗎？
不能。草案寫明通配組不得被解讀為匹配該策略令牌，而沒有 __usage_ai-training 組的 robots.txt 完全不表達任何偏好。一刀切屏蔽管的仍是抓取，抓取和使用是兩個獨立的開關。
AI 訓練退出會傷害我的 Google 搜索排名嗎？
不會。Google 爬蟲文檔寫明 Google-Extended 不影響網站在 Google 搜索中的收錄，也不用作排名信號（官方），共享令牌正是通過 Google-Extended 控制讀取的。微軟同樣表示其新偏好不改變常規 Bing 搜索結果中的資格。
我該在 robots.txt 裏屏蔽 AI 爬蟲嗎？
把開關分開。真正敏感的路徑照舊屏蔽抓取。訓練偏好用共享令牌按路徑表達。想讓什麼被引用，回答爬蟲（OAI-SearchBot、Claude-SearchBot、PerplexityBot、bingbot）和用户觸發的抓取器就保持開放，屏蔽它們等於把你的頁面從買家看到的回答裏刪掉。
AI 公司什麼時候開始執行這個令牌？
微軟 Bing 從 2027 年 2 月 1 日開始（官方）。Google 目標 2027 年，其爬蟲文檔寫的是 2027 年初。OpenAI 說“未來幾個月內”（官方）。Anthropic 已開始實現。截至 2026 年 11 月 4 日，還沒有公司真正執行。
來源
- 屏蔽與允許之比：訓練爬蟲 Bytespider 3.83:1，回答爬蟲 OAI-SearchBot 0.91:1（Cloudflare Radar，2026 年 9 月 28 日快照，4,242 份 robots.txt；GPTBot 1.60:1，ClaudeBot 1.58:1，Google-Extended 1.38:1，CCBot 2.61:1，bingbot 0.99:1）：TechnologyChecker 對 Cloudflare Radar 資料的分析
- 19.9% 的網站在根路徑屏蔽至少一個 AI 訓練爬蟲，11.4% 屏蔽 AI 搜索爬蟲；874 個屏蔽 GPTBot 的站點中 454 個允許 OAI-SearchBot（獨立抓取，5,467 份 robots.txt，2026 年 10 月）：Citevisor 2026 robots.txt 研究
- 41% 的 B2B 網站屏蔽至少一個主流 AI bot（2026 年一季度隊列審計；廠商基準，CapstonAI 自有客户）：CapstonAI robots.txt 指南
- IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00，“Machine-Readable Training Preference Signal”（Kevin Kelley，Anthropic，2026 年 10 月 30 日；令牌語義、與抓取無關、通配與優先級規則）：datatracker.ietf.org
- Kelley 發到 IETF 工作組郵件列表的公告（Anthropic 實現狀態；“完全不表達任何偏好”）：mailarchive.ietf.org
- Google Search Central Blog，“Supporting a shared AI training control for websites”（John Mueller，2026 年 10 月 30 日；Google-Extended 解讀、Gemini Apps grounding 資格、2027 年目標）：developers.google.com
- Google 爬蟲文檔，Google-Extended 令牌（不影響搜索收錄與排名；grounding 範圍；2027 年初支持備註）：developers.google.com
- Microsoft Bing Blog，“Your content, your choice: clearer preferences for training and grounding”（Krishna Madhavan，2026 年 10 月 30 日；頁面級 ai-training / ai-grounding 控制、DisallowExtended、時間表 2027 年 2 月 1 日 / 3 月 1 日 / 9 月 30 日、NoArchive 與 NoCache 退役）：blogs.bing.com
- OpenAI，“Making it easier for websites to express AI training preferences”（2026 年 10 月 30 日；“未來幾個月”；現有爬蟲控制繼續有效）：openai.com
- The Verge，四家公司採納與 Meta 未承諾的報道（2026 年 10 月 30 日）：theverge.com
- joinmassive，2026 年 11 月 1 日對 49 個新聞網站的部署檢查（0 個令牌部署；33 個可加載首頁中 10 個仍帶 NoArchive/NoCache）：joinmassive.com