robots.txt AI 학습 토큰의 등장: 차단할 것과 열어둘 것

2026년 10월 30일, Google, Microsoft Bing, OpenAI, Anthropic이 AI 학습 옵트아웃용 공용 robots.txt 토큰 __usage_ai-training을 존중하겠다고 각각 발표했습니다. Bing은 그라운딩을 페이지 단위 별개 제어로 분리합니다. 이 변화가 문제 삼는 것은 전면 차단이며, 한 벤더 벤치마크 감사에서 B2B 사이트의 41%가 해당되는 것으로 나타났습니다. 각 스위치가 제어하는 항목과 2027년 2월 1일 시행 전에 수정할 사항을 정리합니다.

10월 30일에 바뀐 것

robots.txt의 한 줄이 이제 네 AI 기업에 동시에 작동합니다. Anthropic의 Kevin Kelley가 집필하고 10월 30일에 공개된 Internet-Draft draft-kelley-aipref-training-preference-signal-00는 "정책 토큰" __usage_ai-training을 정의합니다. 사이트는 이 토큰 아래에 일반 robots.txt 그룹을 작성하고, 참여 프로바이더는 이를 콘텐츠의 생성 AI 학습 사용에 대한 사이트의 선호로 읽습니다. 네 기업 모두 같은 날 이를 지지했습니다.

초안 자체의 예시는 한 폴더를 제외하고 사이트 전체를 학습에서 제외하는 것입니다:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

이 메커니즘은 새 문법을 추가하지 않습니다. 토큰 아래의 경로 규칙은 최장 일치 우선순위를 포함해 robots.txt 표준인 RFC 9309를 따르며, 토큰을 모르는 파서는 미지의 사용자 에이전트와 마찬가지로 이 그룹을 무시합니다. 초안은 공식 IETF 지위 없는 개인 제출물로, 개정되지 않으면 2027년 5월 3일에 만료됩니다. 지원은 발표된 상태로 아직 활성화되지 않았고, 회사마다 날짜도 다릅니다:

Meta는 초안의 감사의 글에 이름을 올리고 이 시그널을 공개적으로 환영했지만, 존중하겠다고 확약하지는 않았습니다(The Verge). 오늘 실제로 토큰을 따르는 기업 목록은 네 곳입니다. 이는 네 기업이 읽겠다고 약속한 선호이지 웹의 법칙이 아닙니다.

학습, 그라운딩, 크롤링은 별개의 세 스위치

토큰은 콘텐츠의 사용 방식을 규정할 뿐, 크롤러가 가져올 수 있는지 여부가 아닙니다. "이 정책 토큰은 크롤링 동작에 대한 지시가 아닙니다"라고 초안에 명시되어 있습니다. 이제 별개의 세 스위치가 작동합니다. 크롤 접근(변화 없음, 크롤러별 규칙), 학습 사용(새 공용 토큰), 그리고 AI 답변의 재료가 되는 그라운딩 사용(Microsoft는 페이지 단위 제어, Google은 Google-Extended).

초안의 네 가지 제한은 문법보다 중요합니다:

1. 와일드카드 규칙은 효력이 없습니다. "와일드카드 그룹(즉, User-agent: *)은 정책 토큰에 일치하는 것으로 해석되어서는 안 된다(MUST NOT)." * 아래의 일괄 Disallow: /는 크롤러를 차단하지만 학습 선호는 표현하지 않습니다.
2. 그룹이 없으면 선호도 없습니다. 토큰이 없는 파일은 "어떤 선호도 표현하지 않습니다". 침묵은 거절이 아닙니다.
3. 개별 협의가 우선합니다. "사적인 협의는 이 메커니즘으로 표현된 선호에 우선할 수 있다(MAY)."
4. 구체적인 것이 일반적인 것보다 우선합니다. 소비자는 Google-Extended나 GPTBot 같은 전용 토큰을 공용 토큰보다 구체적인 것으로 취급할 수 있습니다.

Google은 공용 토큰을 Google-Extended 스위치로 연결합니다. Search Central 발표에 따르면 사이트가 토큰으로 옵트아웃하고 Google-Extended를 언급하지 않으면, Google은 이를 "퍼블리셔가 Google-Extended를 disallow한 것처럼" 읽을 계획입니다(공식). Google-Extended는 Gemini 모델 학습과 Gemini Apps·Vertex AI의 그라운딩을 관장하며, "Google 검색 게재에 영향을 주지 않고 순위 신호로도 사용되지 않습니다"(공식 문서). 같은 문서는 Google-Extended를 명시적으로 허용한 사이트는 Gemini Apps 답변에 표시되고 클릭을 얻을 자격이 있다고 적습니다. 이 두 공식 입장을 합쳐 읽으면, Google 문구 자체는 아니지만 우리의 해석은 이렇습니다. 학습 일괄 옵트아웃을 방치하면 Gemini Apps 그라운딩에서도 사이트가 빠집니다. 그곳의 인용을 원한다면 Google-Extended를 명시적으로 허용하세요.

Bing은 한 걸음 더 나아가 그라운딩을 페이지 단위 독립 설정으로 만들었고, meta 태그나 X-Robots-Tag 헤더로 전달합니다(공식):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

사이트 전체 robots.txt 그라운딩 선호 설정은 없으며, 그라운딩은 페이지 단위만 존재합니다. DisallowExtended는 Copilot, AI Mode, Microsoft 365 같은 Microsoft 운영 환경에서의 게재 자격은 유지하면서, Web IQ처럼 Microsoft가 서드파티에 판매하는 그라운딩 서비스에서는 콘텐츠를 빼줍니다. 두 설정 모두 아무것도 게시하지 않으면 기본값은 Allow입니다. Microsoft 자신의 주의 사항: Disallow나 DisallowExtended를 선택하면 AI 생성 환경에서의 가시성이 크게 줄어들지만, 어느 쪽도 일반 Bing 검색 결과의 게재 자격은 바꾸지 않습니다.

전면 차단이 비용 큰 실수

"AI 봇"을 한 묶음으로 차단하는 것은 본래 범주 착각이었습니다. 학습 크롤러와 답변 크롤러는 다른 사용자 에이전트이며, 후자를 차단하면 바이어가 보는 답변에서 사이트가 사라집니다. 새 제어들은 이 구분을 피할 수 없게 만듭니다.

시장은 이미 이 둘을, 제각각이긴 하지만 분리하고 있습니다. Cloudflare Radar의 2026년 9월 28일자 robots.txt 4,242개 스냅샷에서는 주요 학습 크롤러 모두 허용보다 차단이 많았습니다. Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1(TechnologyChecker 경유 Cloudflare Radar 데이터). 답변 크롤러는 반대입니다. OAI-SearchBot 0.91:1, bingbot 0.99:1. robots.txt 5,467개를 독립적으로 크롤링한 조사에서는 루트에서 학습 크롤러를 하나 이상 차단한 사이트가 19.9%, AI 검색 크롤러를 차단한 곳은 11.4%였고, GPTBot을 차단한 874곳 중 454곳은 OAI-SearchBot을 허용한 채였습니다(Citevisor, 2026년 10월). 이 구분을 이해한 운영자는 열어둘 문을 열어두었습니다.

나누지 못한 쪽이 교훈이 되는 숫자입니다. CapstonAI의 2026년 1분기 코호트 감사(벤더 벤치마크, 자사 고객 기반 기준)에서는 주요 AI 봇을 하나 이상 차단한 B2B 사이트가 41%이며, 대부분 2023~2024년 "전부 차단" 공황의 잔재입니다(CapstonAI). 이 차단들이 작성될 당시 쓸 수 있는 스위치는 크롤 수준 킬 스위치뿐이었습니다. 2027년 2월 1일부터 스위치가 분리되고, 잘못된 레이어에서 차단을 계속하는 사이트는 떠날 생각이 없던 답변에서 조용히 사라집니다. 바이어의 출발점이 이제 답변이기 때문에 중요합니다. AI가 이름을 불러주는 것이 Google 순위보다 이긴다는 내용은 앞선 노트에서 다루었습니다.

무엇을 차단하고 무엇을 열어둘 것인가

회사별이 아니라 콘텐츠 유형별로 결정합니다. 학습은 이제 경로별로 한 번 표현할 수 있는 권리 판단입니다. 답변 크롤러와 사용자 요청 페처는 유통입니다. 인용되기를 원하는 것은 열어두세요.

한 행에는 단서가 필요합니다. 사용자 요청 페처(ChatGPT-User, Claude-User, Perplexity-User)는 사람이 채팅 안에서 여러분을 질문할 때 작동합니다. OpenAI 문서는 robots.txt가 ChatGPT-User에는 적용되지 않을 수 있다고 하고, Perplexity는 Perplexity-User가 일반적으로 이를 무시한다고 밝힙니다(Citevisor). 이 무리에게 robots.txt는 약한 수단입니다.

2027년 2월 1일 전에 할 일

아직 아무것도 강제되지 않았습니다. 그래서 앞으로 3개월이 쓸모 있습니다. 수정은 엔진이 사이트를 다시 크롤링한 뒤에야 반영되고, Microsoft는 설정을 게시하는 것과 활성화하는 것이 다르다고 경고합니다. 순서:

1. 오늘 자신의 robots.txt를 읽으세요. AI 토큰을 모두 적어 내고 학습·답변·사용자 페치로 분류합니다. 무료 즉시 확인이 첫 통과를 몇 초 만에 처리합니다.
2. 낡은 전면 차단을 정리합니다. 2023~2024년에 "안전을 위해" 추가한 것은 위 표를 기준으로 새로 판단하세요.
3. NoArchive나 NoCache를 게시 중이라면 2027년 3월 1일 전에 움직이세요. 새 선호 설정을 게시하고, 2026년 12월 15일에 열리는 Bing Webmaster Tools에 임시 그라운딩 선호를 기록하세요. 기한을 놓치면 재크롤링까지 그 페이지들의 그라운딩 기본값은 Allow입니다.
4. Gemini Apps 인용을 원한다면 Google-Extended를 명시적으로 허용하세요. 토큰을 채택하면 침묵은 disallow로 읽힙니다.
5. 토큰 그룹은 초안의 예시를 본뜬 패턴으로, 경로별로 의도적으로 추가합니다.
6. 매달 검증과 재확인을 하세요. 수동 방법은 도구 없이 오후 시간 하나면 충분합니다.

시행까지의 기간

2026년 11월 4일 기준으로 네 기업 중 토큰을 존중하는 곳은 아직 없고 채택은 사실상 0입니다. joinmassive가 11월 1일에 뉴스 사이트 49곳을 확인한 결과 토큰 도입은 0건이었고, 불러올 수 있었던 33개 홈페이지 중 10곳은 여전히 NoArchive나 NoCache 태그를 남기고 있었습니다(joinmassive).

우리의 역할

우리는 가시성 진단을 본업으로 하며, 크롤러 접근은 그 핵심입니다. CiteGap의 무료 인스턴트 체크는 robots.txt를 읽고 차단된 AI 크롤러를 보고합니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. 몇 초면 끝납니다. AI가 여러분 제품에 대해 말하는 전체 그림은, 구매자 질문 30개를 실행하고 수정 목록을 건네주는 문서 진단으로 확인하세요.

무료 즉시 확인 실행

자주 묻는 질문

robots.txt의 __usage_ai-training 토큰이란 무엇인가요?

IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00에서 정의된 공용 "정책 토큰"입니다. 사이트는 User-Agent: __usage_ai-training 아래에 일반 robots.txt 그룹을 작성하고, 그 아래의 Disallow와 Allow 규칙이 각 경로의 생성 AI 학습 사용에 대한 사이트의 선호를 표현합니다. Google, Microsoft Bing, OpenAI, Anthropic은 2026년 10월 30일 이를 존중하겠다고 발표했으며, 시작 시점은 회사마다 2027년 초 이후로 다릅니다.

ai-grounding 토큰이란 무엇인가요?

Microsoft의 페이지 단위 AI Grounding 설정입니다. <meta name="Bingbot" content="ai-grounding:disallow">(또는 X-Robots-Tag 헤더)로 설정하면 해당 페이지가 AI 생성 답변에서 제외되고, ai-grounding:disallowextended는 Copilot 같은 Microsoft 운영 환경은 허용하면서 서드파티 그라운딩 서비스에는 제공하지 않습니다. 사이트 전체 robots.txt 그라운딩 선호 설정은 없으며, 아무것도 게시하지 않으면 그라운딩 기본값은 Allow입니다.

User-agent: * Disallow: /는 사이트를 AI 학습에서 제외하나요?

아닙니다. 초안은 와일드카드 그룹을 정책 토큰에 일치하는 것으로 해석해서는 안 된다고(MUST NOT) 규정하며, __usage_ai-training 그룹이 없는 robots.txt 파일은 어떤 선호도 표현하지 않습니다. 전면 차단은 여전히 크롤링을 제어하지만, 사용과는 별개의 스위치입니다.

AI 학습 옵트아웃은 Google 검색 순위에 해를 끼치나요?

아닙니다. Google 크롤러 문서는 Google-Extended가 Google 검색 게재에 영향을 주지 않고 순위 신호로도 사용되지 않는다고 명시하며(공식), 공용 토큰도 Google-Extended 제어를 통해 읽힙니다. Microsoft 역시 새 설정이 일반 Bing 검색 결과의 게재 자격을 바꾸지 않는다고 밝히고 있습니다.

robots.txt에서 AI 크롤러를 차단해야 하나요?

스위치를 분리하세요. 진짜 민감한 경로의 크롤링은 기존처럼 차단합니다. 학습 선호는 공용 토큰으로 경로별로 표현합니다. 인용되기를 원하는 콘텐츠는 답변 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot)와 사용자 요청 페처를 열어두세요. 차단하면 바이어가 보는 답변에서 페이지가 사라집니다.

AI 기업들은 언제부터 토큰을 존중하나요?

Microsoft Bing은 2027년 2월 1일부터입니다(공식). Google은 2027년을 목표로 하며 크롤러 문서는 2027년 초라고 합니다. OpenAI는 "향후 몇 개월 내"라고 합니다(공식). Anthropic은 구현을 시작했습니다. 2026년 11월 4일 기준으로 아직 토큰을 존중하는 회사는 없습니다.

출처

• 3.83:10.91:1차단 대 허용 비율. 학습 크롤러 Bytespider 3.83:1 vs 답변 크롤러 OAI-SearchBot 0.91:1(Cloudflare Radar, 2026년 9월 28일 스냅샷, robots.txt 4,242개; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): Cloudflare Radar 데이터의 TechnologyChecker 분석
• 19.9%11.4%루트에서 AI 학습 크롤러를 하나 이상 차단한 사이트 19.9% vs AI 검색 크롤러 차단 11.4%; GPTBot 차단 874곳 중 454곳은 OAI-SearchBot 허용(독립 크롤링, robots.txt 5,467개, 2026년 10월): Citevisor 2026 robots.txt 연구
• 41%주요 AI 봇을 하나 이상 차단한 B2B 사이트 41%(2026년 1분기 코호트 감사; 벤더 벤치마크, CapstonAI 자사 고객 기반): CapstonAI robots.txt 가이드
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, "Machine-Readable Training Preference Signal"(Kevin Kelley, Anthropic, 2026년 10월 30일; 토큰 의미론, 크롤 독립성, 와일드카드 및 우선순위 규칙): datatracker.ietf.org
• Kelley가 IETF 워킹 그룹 리스트에 올린 발표 글(Anthropic 구현 상태; "어떤 선호도 표현하지 않습니다"): mailarchive.ietf.org
• Google Search Central Blog, "Supporting a shared AI training control for websites"(John Mueller, 2026년 10월 30일; Google-Extended 해석, Gemini Apps 그라운딩 자격, 2027년 목표): developers.google.com
• Google 크롤러 문서, Google-Extended 토큰(검색 게재나 순위에는 영향 없음; 그라운딩 범위; 2027년 초 지원 메모): developers.google.com
• Microsoft Bing Blog, "Your content, your choice: clearer preferences for training and grounding"(Krishna Madhavan, 2026년 10월 30일; 페이지 단위 ai-training / ai-grounding 제어, DisallowExtended, 2027년 2월 1일 / 3월 1일 / 9월 30일 일정, NoArchive·NoCache 폐지): blogs.bing.com
• OpenAI, "Making it easier for websites to express AI training preferences"(2026년 10월 30일; "향후 몇 개월 내"; 기존 크롤러 제어 지속): openai.com
• The Verge, 4개사 채택과 Meta의 미확약 보도(2026년 10월 30일): theverge.com
• joinmassive, 2026년 11월 1일 뉴스 사이트 49곳 도입 확인(토큰 도입 0건; 불러온 33개 홈페이지 중 10곳이 NoArchive/NoCache 유지): joinmassive.com