Токены обучения ИИ в robots.txt уже здесь: что блокировать, а что оставить открытым

30 октября 2026 года Google, Microsoft Bing, OpenAI и Anthropic по отдельности заявили, что будут соблюдать один общий токен robots.txt для отказа от обучения ИИ, __usage_ai-training. Bing также выносит grounding в отдельный постраничный контроль. Это изменение наказывает сплошную блокировку, которая, по аудиту одного вендорного бенчмарка, стоит на 41% сайтов B2B. Вот что контролирует каждый переключатель и что исправить до начала принуждения 1 февраля 2027 года.

Что изменилось 30 октября

Одна строка в robots.txt теперь обращена сразу к четырём ИИ-компаниям. Internet-Draft draft-kelley-aipref-training-preference-signal-00, написанный Кевином Келли из Anthropic и опубликованный 30 октября, определяет «policy token», __usage_ai-training. Сайт записывает обычную группу robots.txt под этим токеном, а участвующие провайдеры читают её как предпочтение сайта насчёт использования его контента для обучения генеративного ИИ. Все четыре компании одобрили её в тот же день.

Собственный пример из проекта исключает из обучения весь сайт, кроме одной папки:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Механизм не добавляет нового синтаксиса. Правила путей под токеном следуют RFC 9309, стандарту robots.txt, включая приоритет longest-match, а парсеры, не знающие этот токен, игнорируют группу, как и любого неизвестного user agent. Проект — индивидуальная подача без формального статуса в IETF; если его не доработать, он истекает 3 мая 2027 года. Поддержка объявлена, но ещё не действует, и каждая компания назвала свой срок:

Meta упомянута в благодарностях проекта и публично приветствовала сигнал, но не обязалась его соблюдать (The Verge). Сегодня компаний, реально подчиняющихся этому токену, четыре. Считайте его предпочтением, которое эти четыре пообещали читать, а не законом интернета.

Обучение, grounding и краулинг — три разных переключателя

Токен говорит, как можно использовать контент, а не может ли краулер его скачать. «Этот policy token не является директивой для поведения краулинга», — гласит проект. Теперь в игре три отдельных переключателя: доступ для краулинга (без изменений, правила per-crawler); использование для обучения (новый общий токен); и использование для grounding, который питает ответы ИИ (постраничные контроли у Microsoft; Google-Extended у Google).

Четыре ограничения проекта важнее синтаксиса:

1. Правила wildcard не считаются. «Группы wildcard (то есть User-agent: *) НЕ ДОЛЖНЫ интерпретироваться как соответствующие policy token». Сплошной Disallow: / под * блокирует краулеров, но не выражает никакого предпочтения по обучению.
2. Нет группы — нет предпочтения. Файл без токена «не выражает вообще никакого предпочтения». Молчание — это не «нет».
3. Частные соглашения имеют приоритет. «Частные соглашения МОГУТ переопределять предпочтения, выраженные через этот механизм».
4. Специфичное важнее общего. Потребители могут считать проприетарные токены вроде Google-Extended или GPTBot более специфичными, чем общий.

Google направляет общий токен на переключатель Google-Extended. В объявлении Search Central сказано, что когда сайт делает opt-out через токен и не упоминает Google-Extended, Google планирует читать это «так, как если бы издатель запретил Google-Extended» (официально). Google-Extended управляет обучением моделей Gemini и grounding в Gemini Apps и Vertex AI, и «не влияет на включение сайта в Google Search и не используется там как сигнал ранжирования» (официальная документация). В той же документации отмечено, что сайты, явно разрешившие Google-Extended, могут появляться в ответах Gemini Apps и получать клики. Сложите два официальных заявления вместе, и наше прочтение — это не фраза Google — такое: сплошной отказ от обучения, оставленный как есть, заодно выводит сайт из grounding в Gemini Apps. Если вам нужны эти цитирования, явно разрешите Google-Extended.

Bing пошёл дальше и сделал grounding отдельной постраничной настройкой, передаваемой meta-тегом или заголовком X-Robots-Tag (официально):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Общесайтовой настройки grounding в robots.txt нет; grounding существует только на уровне страницы. DisallowExtended сохраняет контент подходящим для сервисов под управлением Microsoft — Copilot, AI Mode и Microsoft 365 — при этом скрывая его от grounding-сервисов, которые Microsoft продаёт третьим сторонам, вроде Web IQ. Обе настройки по умолчанию равны Allow, если ничего не опубликовано. Предостережение самой Microsoft: выбор Disallow или DisallowExtended заметно снизит вашу видимость в генерируемых ИИ сервисах, хотя ни тот ни другой не меняет доступность в обычных результатах Bing.

Сплошная блокировка — дорогая ошибка

Блокировать «ИИ-ботов» одной группой всегда было ошибкой категории. Краулеры обучения и краулеры ответов — разные user agent, и блокировка вторых удаляет сайт из ответов, которые видят покупатели. Новые контроли делают это различие неустранимым.

Рынок уже разделяет эти две категории, хоть и неравномерно. Снимок Cloudflare Radar от 28 сентября 2026 года по 4,242 файлам robots.txt показывает, что каждый крупный краулер обучения запрещается чаще, чем разрешается: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (данные Cloudflare Radar через TechnologyChecker). Краулеры ответов показывают обратное: OAI-SearchBot 0.91:1, bingbot 0.99:1. Независимый обход 5,467 файлов robots.txt обнаружил, что 19.9% сайтов блокируют хотя бы одного краулера обучения на корне против 11.4%, блокирующих краулер ИИ-поиска, а 454 из 874 блокирующих GPTBot всё ещё разрешают OAI-SearchBot (Citevisor, октябрь 2026). Операторы, понявшие это разделение, держали открытой нужную дверь.

Те, кто не понял, — это предупреждающая цифра. Когортный аудит CapstonAI за Q1 2026 (вендорный бенчмарк, построенный на его собственной клиентской базе) показывает, что 41% сайтов B2B блокируют хотя бы одного крупного ИИ-бота — обычно это остаток паники 2023-2024 годов «заблокировать всё» (CapstonAI). Каждая из этих блокировок была написана, когда единственным доступным переключателем был kill-выключатель уровня краулинга. С 1 февраля 2027 года переключатели разделяются, и сайт, который всё ещё блокирует не на том уровне, тихо исчезает из ответов, уходить из которых он не собирался. Это важно, потому что ответы — то место, где покупатели теперь начинают; наша предыдущая заметка рассказывает, почему быть названным ИИ важнее, чем ранжироваться в Google.

Что блокировать, а что оставить открытым

Решайте по типу контента, а не по компании. Обучение — решение о правах, которое теперь можно выразить один раз, путь за путём. Краулеры ответов и запускаемые пользователем fetcher'ы — это дистрибуция: оставляйте их открытыми для всего, что хотите видеть в цитатах.

Одна строка заслуживает оговорки. Запускаемые пользователем fetcher'ы (ChatGPT-User, Claude-User, Perplexity-User) срабатывают, когда человек спрашивает о вас внутри чата. OpenAI документирует, что robots.txt может не применяться к ChatGPT-User, а Perplexity говорит, что Perplexity-User обычно его игнорирует (Citevisor). Для этой группы robots.txt — слабый инструмент.

Что сделать до 1 февраля 2027 года

Ничего ещё не принуждается — именно поэтому ближайшие три месяца стоит использовать. Исправления вступают в силу только после того, как движки переобойдут сайт, а Microsoft предупреждает, что опубликовать настройку — не то же самое, что активировать её. Последовательность:

1. Прочитайте свой robots.txt сегодня. Выпишите в нём каждый ИИ-токен и разложите их на обучение, ответы и пользовательский fetch. Наша бесплатная мгновенная проверка делает первый проход за секунды.
2. Выведите из эксплуатации устаревшие сплошные блоки. Всё, что добавлено в 2023-2024 «на всякий случай», заслуживает свежего решения по таблице выше.
3. Если вы публикуете NoArchive или NoCache, действуйте до 1 марта 2027: опубликуйте новые предпочтения и запишите временную настройку grounding в Bing Webmaster Tools, который откроется 15 декабря 2026. Пропустите дату — и эти страницы до переобхода станут Allow для grounding по умолчанию.
4. Если хотите цитирований в Gemini Apps, явно разрешите Google-Extended. После принятия токена молчание читается как disallow.
5. Добавляйте группу токена осознанно, путь за путём, беря пример из проекта как образец.
6. Проверяйте и перепроверяйте ежемесячно. Ручной метод занимает полдня и не требует инструментов.

Окно до начала принуждения

По состоянию на 4 ноября 2026 года ни одна из четырёх компаний ещё не соблюдает токен, а внедрение близко к нулю. joinmassive проверил 49 новостных сайтов 1 ноября и не нашёл ни одного внедрения токена; 10 из 33 загрузимых главных страниц всё ещё несут теги NoArchive или NoCache (joinmassive).

Где мы в этом

Мы зарабатываем на диагностике видимости, и доступ краулеров — ядро этой работы. Бесплатная мгновенная проверка CiteGap читает ваш robots.txt и сообщает, какие ИИ-краулеры заблокированы: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended. Это занимает секунды. Для полной картины того, что ИИ говорит о вашем продукте, есть письменная диагностика: 30 вопросов от лица покупателя и список исправлений.

Запустить бесплатную мгновенную проверку

Часто задаваемые вопросы

Что такое токен __usage_ai-training в robots.txt?

Общий «policy token», определённый в IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00. Сайт записывает обычную группу robots.txt под User-Agent: __usage_ai-training, и правила Disallow и Allow под ней выражают предпочтение сайта об использовании каждого пути для обучения генеративного ИИ. Google, Microsoft Bing, OpenAI и Anthropic объявили 30 октября 2026 года, что будут его соблюдать, с датами старта от начала 2027 года и позже в зависимости от компании.

Что такое токен ai-grounding?

Постраничная настройка AI Grounding от Microsoft. Задайте её через <meta name="Bingbot" content="ai-grounding:disallow"> (или заголовок X-Robots-Tag), чтобы держать страницу вне генерируемых ИИ ответов, либо ai-grounding:disallowextended, чтобы разрешить сервисы под управлением Microsoft вроде Copilot, удерживая при этом grounding-сервисы третьих сторон. Общесайтовой настройки grounding в robots.txt нет, и при отсутствии опубликованных настроек grounding по умолчанию равен Allow.

Отключает ли User-agent: * Disallow: / мой сайт от обучения ИИ?

Нет. В проекте сказано, что группы wildcard НЕ ДОЛЖНЫ интерпретироваться как соответствующие policy token, а файл robots.txt без группы __usage_ai-training не выражает вообще никакого предпочтения. Сплошной блок по-прежнему управляет краулингом — это отдельный от использования переключатель.

Повредит ли отказ от обучения ИИ моим позициям в Google Search?

Нет. Документация краулеров Google утверждает, что Google-Extended не влияет на включение сайта в Google Search и не используется там как сигнал ранжирования (официально), а общий токен читается через контроль Google-Extended. Microsoft аналогично заявляет, что её новые предпочтения не меняют доступность в обычных результатах поиска Bing.

Стоит ли блокировать ИИ-краулеров в robots.txt?

Разделите переключатели. Блокируйте краулинг действительно чувствительных путей, как и раньше. Выражайте предпочтение по обучению общим токеном, путь за путём. Оставляйте открытыми краулеров ответов (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) и запускаемые пользователем fetcher'ы для всего, что хотите видеть в цитатах, — их блокировка удаляет ваши страницы из ответов, которые видят покупатели.

Когда ИИ-компании начнут соблюдать токен?

Microsoft Bing стартует 1 февраля 2027 года (официально). Google целится в 2027 год, его документация краулеров говорит о начале 2027 года. OpenAI говорит «в ближайшие месяцы» (официально). Anthropic уже начала внедрение. По состоянию на 4 ноября 2026 года ни одна компания ещё не соблюдает токен.

Источники

• 3.83:10.91:1Отношения блок-к-разрешению: краулер обучения Bytespider 3.83:1 против краулера ответов OAI-SearchBot 0.91:1 (Cloudflare Radar, снимок 28 сентября 2026, 4,242 файлов robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): анализ TechnologyChecker данных Cloudflare Radar
• 19.9%11.4%19.9% сайтов блокируют хотя бы одного краулера ИИ-обучения на корне против 11.4%, блокирующих краулер ИИ-поиска; 454 из 874 блокирующих GPTBot разрешают OAI-SearchBot (независимый обход, 5,467 файлов robots.txt, октябрь 2026): исследование robots.txt 2026 Citevisor
• 41%41% сайтов B2B блокируют хотя бы одного крупного ИИ-бота (когортный аудит Q1 2026; вендорный бенчмарк, клиентская база самой CapstonAI): руководство CapstonAI по robots.txt
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, «Machine-Readable Training Preference Signal» (Kevin Kelley, Anthropic, 30 октября 2026; семантика токена, независимость от краулинга, правила wildcard и приоритетов): datatracker.ietf.org
• Пост Келли с анонсом в список рабочей группы IETF (статус внедрения Anthropic; «не выражает вообще никакого предпочтения»): mailarchive.ietf.org
• Google Search Central Blog, «Supporting a shared AI training control for websites» (John Mueller, 30 октября 2026; трактовка Google-Extended, доступность grounding в Gemini Apps, цель 2027): developers.google.com
• Документация краулеров Google, токен Google-Extended (нет влияния на включение в Search или ранжирование; охват grounding; заметка о поддержке в начале 2027): developers.google.com
• Microsoft Bing Blog, «Your content, your choice: clearer preferences for training and grounding» (Krishna Madhavan, 30 октября 2026; постраничные контроли ai-training / ai-grounding, DisallowExtended, сроки 1 фев / 1 мар / 30 сен 2027, вывод из эксплуатации NoArchive и NoCache): blogs.bing.com
• OpenAI, «Making it easier for websites to express AI training preferences» (30 октября 2026; «в ближайшие месяцы»; существующие контроли краулеров продолжают действовать): openai.com
• The Verge, освещение принятия четырьмя компаниями и необязательства Meta (30 октября 2026): theverge.com
• joinmassive, проверка внедрения на 49 новостных сайтах 1 ноября 2026 (0 внедрений токена; 10 из 33 загрузимых главных страниц всё ещё несут NoArchive/NoCache): joinmassive.com