2026年10月30日、Google、Microsoft Bing、OpenAI、Anthropicは、AI学習オプトアウト用の共通robots.txtトークン__usage_ai-trainingを尊重すると各社が表明しました。Bingはさらにグラウンディングをページ単位の別制御に分離します。この変更が罰するのは一括ブロックで、あるベンダーベンチマーク調査ではB2Bサイトの41%が該当します。各スイッチの制御内容と、2027年2月1日の強制開始までに修正すべきことを解説します。

10月30日に何が変わったのか

robots.txtの1行が、4つのAI企業に同時に働きかけます。AnthropicのKevin Kelleyが執筆し10月30日に公開されたInternet-Draft draft-kelley-aipref-training-preference-signal-00は、「ポリシートークン」__usage_ai-trainingを定義します。サイトはこのトークンの下に通常のrobots.txtグループを記述し、参加プロバイダーはそれを、コンテンツの生成AI学習への利用に関するサイトの意向として読みます。4社すべてが同じ日にこれを支持しました。

ドラフト自体の例は、1つのフォルダを除いてサイト全体を学習からオプトアウトするものです:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この仕組みは新しい構文を追加しません。トークン配下のパスルールは、最長一致の優先順位を含むrobots.txt標準RFC 9309に従い、トークンを知らないパーサーは未知のユーザーエージェントと同様にこのグループを無視します。ドラフトは正式なIETF的地位のない個人提出物で、改訂がなければ2027年5月3日に失効します。対応は発表された段階でまだ有効化されておらず、各社の開始日も異なります:

プロバイダー 発表内容 適用時期
Microsoft Bing 学習用の共通トークンに加え、新しいページ単位のai-trainingとai-groundingの制御。NoArchiveとNoCacheは廃止へ。 2027年2月1日。旧タグは2027年3月1日で無効（公式）
Google 共通トークン。Google-Extendedが指定されていない場合、トークンによるオプトアウトはGoogle-ExtendedへのDisallowとして読まれます。 2027年目標。クローラードキュメントでは2027年前半（公式）
OpenAI 共通シグナル。既存のGPTBotとOAI-SearchBotの制御はそのまま。 「今後数か月のうちに」（公式）
Anthropic ドラフトの著者。各サービスでの実装は開始済み。 進行中（公式）

Metaはドラフトの謝辞に名を連ね、このシグナルを公に歓迎しましたが、尊重するとまでは確約していません（The Verge）。今日の時点で実際にトークンに従う企業は4社です。これは4社が読むと約束した意向であって、ウェブの法則ではありません。

学習・グラウンディング・クロールは3つの別スイッチ

トークンはコンテンツの利用方法を定めるもので、クローラーが取得できるかどうかではありません。「このポリシートークンはクロール動作への指示ではない」とドラフトに明記されています。現在は3つの別スイッチが関わります。クロールアクセス（変更なし、クローラーごとのルール）、学習利用（新しい共通トークン）、そしてAI回答の素材となるグラウンディング利用（Microsoftはページ単位の制御、GoogleはGoogle-Extended）。

ドラフトの4つの制約は構文よりも重要です:

  1. ワイルドカードルールは効力を持ちません。「ワイルドカードグループ（すなわちUser-agent: *）は、ポリシートークンに一致するものとして解釈してはならない（MUST NOT）」。*配下の一括Disallow: /はクローラーをブロックしますが、学習に関する意向は示しません。
  2. グループがなければ意向もありません。トークンのないファイルは「何の意向も示しません」。沈黙は拒否ではありません。
  3. 個別合意が優先します。「私的な合意は、このメカニズムで示された意向に優先してよい（MAY）」。
  4. 具体的なものが一般的なものに優先します。Google-ExtendedやGPTBotのような専用トークンは、共通トークンよりも具体的なものとして扱われる場合があります。

Googleは共通トークンをGoogle-Extendedのスイッチに接続します。Search Centralの発表によれば、サイトがトークンでオプトアウトしGoogle-Extendedに言及していない場合、Googleはそれを「パブリッシャーがGoogle-ExtendedをDisallowしたものとして」読む計画です（公式）。Google-ExtendedはGeminiモデルの学習とGemini Apps・Vertex AIでのグラウンディングを管轄し、「Google検索への掲載には影響せず、ランキングシグナルとしても使われない」とあります（公式ドキュメント）。同じドキュメントは、Google-Extendedを明示的に許可したサイトはGemini Appsの回答に表示されクリックを得られる資格があると述べています。この2つの公式見解を合わせて読むと——Googleの文言そのものではありませんが——私たちの解釈はこうです。学習の一括オプトアウトを放置すると、Gemini Appsのグラウンディングからもサイトが外れます。そこでの引用を望むなら、Google-Extendedを明示的に許可してください。

Bingはさらに進んで、グラウンディングをページ単位の独立設定とし、metaタグまたはX-Robots-Tagヘッダーで運びます（公式）:

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

サイト全体のrobots.txtグラウンディング設定は存在せず、グラウンディングはページ単位のみです。DisallowExtendedは、Copilot、AI Mode、Microsoft 365のようなMicrosoft運営エクスペリエンスでの掲載資格を保ちつつ、Web IQのようなサードパーティに販売されるグラウンディングサービスからは内容を引き下げます。どちらの設定も、何も公開しなければデフォルトはAllowです。Microsoft自身の注意書き：DisallowまたはDisallowExtendedを選ぶと、AI生成エクスペリエンスでの可視性は大幅に下がります。ただし、どちらも通常のBing検索結果での掲載資格は変わりません。

一括ブロックが高くつくミス

「AIボット」をひとまとめでブロックするのは、本来カテゴリーの混同でした。学習クローラーと回答クローラーは別のユーザーエージェントで、後者をブロックすると、バイヤーが目にする回答からサイトが消えます。新しい制御は、この区別を無視できないものにします。

市場はすでにこの2つを、まちまちにとはいえ分けています。Cloudflare Radarの2026年9月28日時点・robots.txt 4,242件のスナップショットでは、主要な学習クローラーはすべて許可より禁止の方が多くなっています。Bytespider 3.83:1、CCBot 2.61:1、GPTBot 1.60:1、ClaudeBot 1.58:1、Google-Extended 1.38:1（TechnologyChecker経由のCloudflare Radarデータ）。回答クローラーは逆です。OAI-SearchBot 0.91:1、bingbot 0.99:1。robots.txt 5,467件を独立クロールした調査では、ルートで学習クローラーを1つ以上ブロックしているサイトが19.9%、AI検索クローラーをブロックしているのは11.4%で、GPTBotをブロックしている874サイトのうち454はOAI-SearchBotを許可したままでした（Citevisor、2026年10月）。この区別を理解していた運営者は、開けるべき扉を開けていました。

分けられなかった側が、教訓となる数字です。CapstonAIの2026年第1四半期コホート監査（ベンダーベンチマーク、自社クライアントベースに基づく）では、主要AIボットを1つ以上ブロックしているB2Bサイトは41%で、その多くは2023〜2024年の「全部ブロック」パニックの名残です（CapstonAI）。これらのブロックが書かれた当時、使えるスイッチはクロールレベルのキルスイッチだけでした。2027年2月1日からはスイッチが分離され、間違ったレイヤーでブロックし続けるサイトは、離れるつもりのなかった回答から静かに消えていきます。回答こそバイヤーの出発点だからこそ重要です。AIの回答で名前を呼ばれることがGoogleの検索順位に勝る理由は、先のノートで扱いました。

何をブロックし、何を開放しておくか

企業ごとではなく、コンテンツタイプごとに決めます。学習は、パスごとに1度示せる権利判断です。回答クローラーとユーザー起動のフェッチャーは流通です。引用されたいものは開放しておきます。

コンテンツ 学習（新しいトークン） 回答・ユーザーフェッチクローラー
引用されたい公開ページ __usage_ai-trainingでパスごとに意向を示します。 開放しておきます。ブロックすると、バイヤーが目にする回答から消えます。
ペイウォール・ライセンス・プレミアムコンテンツ トークングループまたはボット別ルールでDisallow。 判断は任意です。グラウンディングはBingのページ単位ai-grounding設定です。
利用されたいページ（プレスキット、オープンデータ） Allow。ドラフト自体の例がこれです。 開放。
ステージング・管理・内部パス 従来どおり、製品トークンや*でクロールをブロックします。 同じです。トークンは利用を管理するもので、アクセスではありません。

1つの行に但し書きが必要です。ユーザー起動のフェッチャー（ChatGPT-User、Claude-User、Perplexity-User）は、人がチャット内であなたについて質問したときに動きます。OpenAIのドキュメントは、robots.txtがChatGPT-Userには適用されない可能性があるとし、PerplexityはPerplexity-Userが通常これを無視するとしています（Citevisor）。この一群に対して、robots.txtは弱い手段です。

2027年2月1日までにやるべきこと

まだ何も強制されていません。だからこそ、この3か月を使う価値があります。修正はエンジンがサイトを再クロールして初めて反映され、Microsoftは設定の公開と有効化が同じではないと警告しています。手順:

  1. 今日、自分のrobots.txtを読みます。AIトークンをすべて書き出し、学習・回答・ユーザーフェッチに分類します。無料の即時チェックなら、最初の一遍を数秒で終えられます。
  2. 古い一括ブロックを撤去します。2023〜2024年に「念のため」追加したものは、上の表に照らして改めて判断を。
  3. NoArchiveやNoCacheを公開しているなら、2027年3月1日までに手を打ちます。新しい設定を公開し、2026年12月15日に開かれるBing Webmaster Toolsで暫定のグラウンディング設定を記録してください。期限を逃すと、再クロールまでそれらのページのグラウンディングはAllowがデフォルトになります。
  4. Gemini Appsでの引用を望むなら、Google-Extendedを明示的に許可します。トークンを採用したら、沈黙はDisallowとして読まれます。
  5. トークングループは、ドラフトの例を型にして、パスごとに意図的に追加します。
  6. 毎月検証と再チェックを行います。手動の方法なら道具は不要で、午後の時間だけで済みます。

強制までの猶予期間

2026年11月4日時点で、4社のうちトークンを尊重している企業はまだなく、採用はほぼゼロです。joinmassiveが11月1日にニュースサイト49サイトを調査したところ、トークンの導入はゼロ。読み込めた33のホームページのうち10は、まだNoArchiveまたはNoCacheタグを残していました（joinmassive）。

私たちの立ち位置

私たちは可視性診断を本業としており、クローラーアクセスはその中核です。CiteGapの無料即時チェックはrobots.txtを読み、ブロックされているAIクローラーを報告します。GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended。数秒で終わります。AIがあなたの製品について何を言っているかの全体像には、30のバイヤー質問を実行して修正リストを渡す文書診断を。

無料の即時チェックを実行する

よくある質問

robots.txtの__usage_ai-trainingトークンとは何ですか？

IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00で定義された共通の「ポリシートークン」です。サイトはUser-Agent: __usage_ai-trainingの下に通常のrobots.txtグループを記述し、その配下のDisallowとAllowルールが、各パスの生成AI学習への利用に関するサイトの意向を表します。Google、Microsoft Bing、OpenAI、Anthropicは2026年10月30日にこれを尊重すると発表しており、開始時期は企業ごとに2027年前半以降で異なります。

ai-groundingトークンとは何ですか？

Microsoftのページ単位のAI Grounding設定です。<meta name="Bingbot" content="ai-grounding:disallow">（またはX-Robots-Tagヘッダー）で設定すると、そのページはAI生成の回答から外れます。ai-grounding:disallowextendedでは、CopilotのようなMicrosoft運営のエクスペリエンスは許可しつつ、サードパーティのグラウンディングサービスへの提供を拒めます。サイト全体のrobots.txtグラウンディング設定は存在せず、何も公開しない場合のグラウンディングのデフォルトはAllowです。

User-agent: * Disallow: /でサイトはAI学習から除外されますか？

いいえ。ドラフトでは、ワイルドカードグループをポリシートークンに一致するものとして解釈してはならない（MUST NOT）と定められており、__usage_ai-trainingグループを含まないrobots.txtファイルは何の意向も示しません。一括ブロックは引き続きクロールを制御しますが、利用とは別のスイッチです。

AI学習のオプトアウトはGoogle検索のランキングに悪影響を与えますか？

いいえ。Googleのクローラードキュメントは、Google-ExtendedはGoogle検索への掲載に影響せずランキングシグナルとしても使われないと明記しており（公式）、共通トークンもGoogle-Extendedの制御を通じて読み込まれます。Microsoftも同様に、新しい設定は通常のBing検索結果での掲載資格を変えないとしています。

robots.txtでAIクローラーをブロックすべきですか？

スイッチを分けてください。本当に機密性の高いパスのクロールは従来どおりブロックします。学習の意向は共通トークンでパスごとに示します。引用されたいものについては、回答クローラー（OAI-SearchBot、Claude-SearchBot、PerplexityBot、bingbot）とユーザー起動のフェッチャーは開放したままにしてください。ブロックすると、バイヤーが目にする回答からページが消えます。

AI企業はいつからトークンを尊重し始めますか？

Microsoft Bingは2027年2月1日からです（公式）。Googleは2027年を目標とし、クローラードキュメントでは2027年前半としています。OpenAIは「今後数か月のうちに」としています（公式）。Anthropicは実装を開始済みです。2026年11月4日時点で、トークンを尊重している企業はまだありません。

出典

  • ブロック対許可の比率。学習クローラーBytespider 3.83:1対回答クローラーOAI-SearchBot 0.91:1（Cloudflare Radar、2026年9月28日スナップショット、robots.txt 4,242件。GPTBot 1.60:1、ClaudeBot 1.58:1、Google-Extended 1.38:1、CCBot 2.61:1、bingbot 0.99:1）: Cloudflare RadarデータのTechnologyCheckerによる分析
  • ルートでAI学習クローラーを1つ以上ブロックしているサイト19.9%対AI検索クローラーをブロックしている11.4%。GPTBotブロッカー874のうち454はOAI-SearchBotを許可（独立クロール、robots.txt 5,467件、2026年10月）: Citevisor 2026年robots.txt調査
  • 主要AIボットを1つ以上ブロックしているB2Bサイトは41%（2026年第1四半期コホート監査。ベンダーベンチマーク、CapstonAI自社クライアントベース）: CapstonAI robots.txtガイド
  • IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00「Machine-Readable Training Preference Signal」（Kevin Kelley、Anthropic、2026年10月30日。トークン意味論、クロール非依存性、ワイルドカードと優先順位の規則）: datatracker.ietf.org
  • KelleyによるIETFワーキンググループリストへの発表投稿（Anthropicの実装状況。「何の意向も示しません」）: mailarchive.ietf.org
  • Google Search Central Blog「Supporting a shared AI training control for websites」（John Mueller、2026年10月30日。Google-Extendedの解釈、Gemini Appsでのグラウンディング資格、2027年目標）: developers.google.com
  • Googleクローラードキュメント、Google-Extendedトークン（検索掲載やランキングへの影響なし。グラウンディングの適用範囲。2027年前半対応の注記）: developers.google.com
  • Microsoft Bing Blog「Your content, your choice: clearer preferences for training and grounding」（Krishna Madhavan、2026年10月30日。ページ単位のai-training / ai-grounding制御、DisallowExtended、2027年2月1日 / 3月1日 / 9月30日の日程、NoArchiveとNoCacheの廃止）: blogs.bing.com
  • OpenAI「Making it easier for websites to express AI training preferences」（2026年10月30日。「今後数か月のうちに」。既存のクローラー制御は継続）: openai.com
  • The Verge、4社の採用とMetaの非確約に関する報道（2026年10月30日）: theverge.com
  • joinmassive、2026年11月1日のニュースサイト49サイトの導入状況チェック（トークン導入0件。読み込めた33のホームページのうち10がNoArchive/NoCacheを継続掲載）: joinmassive.com