Token huấn luyện AI trong robots.txt đã tới: chặn gì, giữ gì mở

Vào 30 tháng 10 năm 2026, Google, Microsoft Bing, OpenAI và Anthropic lần lượt tuyên bố sẽ tuân thủ một token robots.txt chung duy nhất để từ chối huấn luyện AI: __usage_ai-training. Bing cũng tách grounding thành điều khiển cấp trang riêng của mình. Thay đổi này trừng phạt việc chặn toàn bộ, mà một cuộc kiểm toán benchmark của nhà cung cấp thấy ở 41% trang web B2B. Đây là điều mỗi khóa điều khiển, và cần sửa gì trước ngày thực thi 1 tháng 2 năm 2027.

Điều gì thay đổi vào 30 tháng 10

Một dòng robots.txt giờ nói chuyện với bốn công ty AI cùng lúc. Internet-Draft draft-kelley-aipref-training-preference-signal-00, do Kevin Kelley của Anthropic viết và công bố ngày 30 tháng 10, định nghĩa một “policy token” chung: __usage_ai-training. Một trang web viết một nhóm robots.txt bình thường dưới token này và các nhà cung cấp tham gia đọc nó như lựa chọn của trang web về việc dùng nội dung của họ trong huấn luyện AI tạo sinh. Cả bốn công ty xác nhận trong cùng ngày.

Ví dụ của chính bản draft loại toàn bộ trang web khỏi huấn luyện, trừ một thư mục:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Cơ chế này không thêm cú pháp mới. Các quy tắc đường dẫn dưới token tuân theo RFC 9309, chuẩn robots.txt, bao gồm ưu tiên longest-match, và các trình phân tích không nhận ra token sẽ bỏ qua nhóm như bỏ qua bất kỳ user agent lạ nào. Draft là một đề xuất cá nhân không có tư cách chính thức trong IETF; nó hết hạn vào 3 tháng 5 năm 2027 nếu không được sửa đổi. Sự ủng hộ được tuyên bố chứ chưa hoạt động, và mỗi công ty đưa ra một ngày khác nhau:

Meta được nêu trong phần cảm ơn của draft và hoan nghênh công khai tín hiệu này, nhưng không cam kết tuân thủ (The Verge). Danh sách các công ty thực sự tuân thủ token hôm nay có bốn tên. Hãy coi đây là lựa chọn mà bốn công ty đó cam kết sẽ đọc, không phải luật của web.

Huấn luyện, grounding và thu thập dữ liệu là ba khóa khác nhau

Token nói nội dung được phép dùng thế nào, chứ không phải crawler có thể lấy nó hay không. “Policy token này không phải chỉ dẫn cho hành vi thu thập dữ liệu”, bản draft nói. Ba khóa riêng biệt giờ đây: quyền truy cập thu thập (không đổi, quy tắc theo từng crawler); sử dụng để huấn luyện (token chung mới); và sử dụng grounding nuôi câu trả lời AI (điều khiển cấp trang ở Microsoft; Google-Extended ở Google).

Bốn giới hạn của draft quan trọng hơn cú pháp của nó:

1. Quy tắc wildcard không được tính. “Các nhóm wildcard (tức User-agent: *) KHÔNG ĐƯỢC được diễn giải là khớp với policy token”. Một Disallow: / toàn bộ dưới * chặn crawler nhưng không nêu bất kỳ lựa chọn huấn luyện nào.
2. Không có nhóm thì không có lựa chọn. Tệp không có token “không nêu bất kỳ lựa chọn nào”. Im lặng không phải là từ chối.
3. Thỏa thuận riêng vượt lên trên. “Các thỏa thuận riêng có thể ghi đè các lựa chọn được nêu qua cơ chế này”.
4. Cụ thể thắng chung. Người dùng có thể chọn coi các token độc quyền như Google-Extended hoặc GPTBot là cụ thể hơn token chung.

Google hướng token chung tới khóa Google-Extended. Thông báo Search Central cho biết khi một trang web từ chối qua token mà không nhắc Google-Extended, Google dự định đọc điều đó “như thể nhà xuất bản đã disallow Google-Extended” (chính thức). Google-Extended điều khiển việc huấn luyện các mô hình Gemini và grounding trong Gemini Apps cũng như Vertex AI, và “không ảnh hưởng tới việc trang web được đưa vào Google Search, cũng không được dùng làm tín hiệu xếp hạng ở đó” (tài liệu chính thức). Chính tài liệu đó ghi chú các trang web cho phép Google-Extended một cách rõ ràng đủ điều kiện xuất hiện trong câu trả lời Gemini Apps và nhận được lượt nhấp. Ghép hai phát biểu chính thức lại, cách chúng tôi đọc — không phải lời của Google — là: việc từ chối huấn luyện toàn bộ để nguyên như vậy cũng đưa trang web của bạn ra khỏi grounding trong Gemini Apps. Nếu bạn muốn những trích dẫn đó, hãy cho phép Google-Extended một cách rõ ràng.

Bing đi xa hơn và biến grounding thành cài đặt cấp trang riêng, được mang bởi thẻ meta hoặc header X-Robots-Tag (chính thức):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Không có lựa chọn grounding cấp trang web nào trong robots.txt; grounding chỉ cấp trang. DisallowExtended giữ nội dung đủ điều kiện cho các trải nghiệm do Microsoft vận hành như Copilot, AI Mode và Microsoft 365 trong khi chặn nó khỏi các dịch vụ grounding Microsoft bán cho bên thứ ba như Web IQ. Cả hai lựa chọn đều trở về Allow khi không công bố gì. Chính cảnh báo của Microsoft: chọn Disallow hoặc DisallowExtended sẽ giảm mạnh khả năng hiển thị của bạn trong các trải nghiệm do AI tạo ra; nhưng không cái nào thay đổi tính đủ điều kiện trong kết quả Bing thông thường.

Chặn toàn bộ là sai lầm đắt giá

Chặn “các bot AI” như một nhóm duy nhất từ trước tới nay là lỗi phân loại. Crawler huấn luyện và crawler câu trả lời là những user agent khác nhau, và chặn cái sau sẽ đưa trang web của bạn ra khỏi các câu trả lời mà người mua nhìn thấy. Các điều khiển mới khiến việc phân tách trở nên không thể tránh.

Thị trường đã tách hai loại này ra, dù không đồng đều. Ảnh chụp Cloudflare Radar ngày 28 tháng 9 năm 2026 trên 4,242 tệp robots.txt cho thấy mọi crawler huấn luyện lớn đều bị chặn thường xuyên hơn được cho phép: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (dữ liệu Cloudflare Radar qua TechnologyChecker). Các crawler câu trả lời nghiêng ngược lại: OAI-SearchBot 0.91:1, bingbot 0.99:1. Một đợt thu thập độc lập trên 5,467 tệp robots.txt thấy 19.9% trang web chặn ít nhất một crawler huấn luyện ở gốc so với 11.4% chặn một crawler tìm kiếm AI, và 454 trong số 874 trang chặn GPTBot vẫn cho phép OAI-SearchBot (Citevisor, tháng 10 năm 2026). Các nhà vận hành hiểu được sự phân chia này đã giữ đúng cửa mở.

Những người không hiểu chính là con số cảnh báo đó. Cuộc kiểm toán nhóm Q1 2026 của CapstonAI (benchmark nhà cung cấp lấy từ chính cơ sở khách hàng của họ) cho thấy 41% trang web B2B chặn ít nhất một bot AI lớn, thường là tàn dư của cơn hoảng “chặn hết” 2023-2024 (CapstonAI). Mỗi lệnh chặn đó được viết khi khóa duy nhất có sẵn là công tắc ngắt cấp thu thập dữ liệu. Từ 1 tháng 2 năm 2027 các khóa tách nhau ra, và trang web vẫn chặn ở sai lớp sẽ biến mất lặng lẽ khỏi những câu trả lời nó không có ý định rời bỏ. Điều này quan trọng vì câu trả lời là nơi người mua bắt đầu hiện nay; ghi chú trước của chúng tôi bàn về vì sao được nhắc tên trong AI thắng thứ hạng Google.

Chặn gì, giữ gì mở

Quyết định theo loại nội dung, không theo công ty. Huấn luyện giờ là một quyết định quyền mà bạn có thể nêu một lần, từng đường dẫn một. Các crawler câu trả lời và fetcher do người dùng kích hoạt là kênh phân phối: để mở cho bất cứ thứ gì bạn muốn được trích dẫn.

Một dòng xứng đáng có ghi chú ngoại lệ. Các fetcher do người dùng kích hoạt (ChatGPT-User, Claude-User, Perplexity-User) chạy khi ai đó hỏi về bạn trong một cuộc trò chuyện. OpenAI ghi rõ robots.txt có thể không áp dụng cho ChatGPT-User, và Perplexity cho biết Perplexity-User nhìn chung bỏ qua nó (Citevisor). Với nhóm đó, robots.txt là công cụ yếu.

Cần làm gì trước 1 tháng 2 năm 2027

Chưa có gì được thực thi, và đó chính là lý do ba tháng tới đáng để tận dụng. Các sửa đổi chỉ có hiệu lực sau khi các công cụ thu thập lại trang web của bạn, và Microsoft cảnh báo công bố cài đặt không giống kích hoạt nó. Trình tự:

1. Đọc robots.txt của bạn hôm nay. Liệt kê mọi token AI trong đó và phân loại thành huấn luyện, câu trả lời và fetch người dùng. Kiểm tra tức thì miễn phí của chúng tôi làm lượt đầu trong vài giây.
2. Cho các lệnh chặn toàn bộ cũ nghỉ hưu. Mọi thứ thêm vào năm 2023-2024 “đ để phòng thân” đều xứng đáng có quyết định mới đối chiếu với bảng trên.
3. Nếu bạn công bố NoArchive hoặc NoCache, hãy hành động trước 1 tháng 3 năm 2027: công bố các lựa chọn mới và ghi lại lựa chọn grounding tạm thời trong Bing Webmaster Tools mở vào 15 tháng 12 năm 2026. Trượt hạn thì các trang đó quay về Allow cho grounding cho tới khi được thu thập lại.
4. Nếu bạn muốn được trích dẫn trong Gemini Apps, hãy cho phép Google-Extended một cách rõ ràng. Sau khi token được áp dụng, im lặng được đọc là disallow.
5. Thêm nhóm token một cách có chủ đích, từng đường dẫn một, dùng ví dụ của draft làm khuôn.
6. Xác minh và kiểm tra lại hàng tháng. Cách thủ công mất một buổi chiều và không cần công cụ.

Cửa sổ trước ngày thực thi

Tính tới 4 tháng 11 năm 2026 chưa công ty nào trong bốn công ty tuân thủ token, và mức áp dụng gần bằng không. joinmassive kiểm tra 49 trang tin tức vào 1 tháng 11 và thấy không có lượt triển khai token nào; 10 trong số 33 trang chủ tải được vẫn mang thẻ NoArchive hoặc NoCache (joinmassive).

Chúng tôi đứng ở đâu

Chúng tôi xây dựng các công cụ chẩn đoán khả năng hiển thị để kiếm sống, và quyền truy cập crawler nằm ở trung tâm của chúng. Kiểm tra tức thì miễn phí của CiteGap đọc robots.txt của bạn và báo cáo những crawler AI nào bị chặn: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot và Google-Extended. Vài giây là xong. Để có bức tranh đầy đủ về điều AI nói về sản phẩm của bạn, bản chẩn đoán viết chạy 30 câu hỏi người mua và đưa cho bạn danh sách cần sửa.

Chạy kiểm tra tức thì miễn phí

Các câu hỏi thường gặp

Token __usage_ai-training trong robots.txt là gì?

Một “policy token” chung được định nghĩa trong IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00. Một trang web viết một nhóm robots.txt bình thường dưới User-Agent: __usage_ai-training, và các quy tắc Disallow/Allow bên dưới nêu lựa chọn của trang web về việc dùng mỗi đường dẫn trong huấn luyện AI tạo sinh. Google, Microsoft Bing, OpenAI và Anthropic tuyên bố vào 30 tháng 10 năm 2026 rằng họ sẽ tuân thủ, với ngày bắt đầu từ đầu 2027.

Token ai-grounding là gì?

Lựa chọn AI Grounding cấp trang của Microsoft. Đặt <meta name="Bingbot" content="ai-grounding:disallow"> (hoặc header X-Robots-Tag) để loại một trang khỏi câu trả lời do AI tạo ra, và ai-grounding:disallowextended để cho phép các trải nghiệm do Microsoft vận hành như Copilot trong khi chặn các dịch vụ grounding Microsoft bán cho bên thứ ba. Không có lựa chọn grounding cấp trang web nào trong robots.txt, và grounding mặc định là Allow khi không công bố gì.

User-agent: * Disallow: / có đưa trang web của tôi ra khỏi huấn luyện AI không?

Không. Bản draft nêu các nhóm wildcard KHÔNG ĐƯỢC được diễn giải là khớp với policy token, và một tệp robots.txt không có nhóm __usage_ai-training không nêu bất kỳ lựa chọn nào. Chặn toàn bộ vẫn điều khiển việc thu thập dữ liệu, một khóa riêng biệt so với việc sử dụng.

Việc từ chối huấn luyện AI có hại cho thứ hạng Google Search của tôi không?

Không. Tài liệu crawler của Google nêu Google-Extended không ảnh hưởng tới việc trang web được đưa vào Google Search và không được dùng làm tín hiệu xếp hạng ở đó (chính thức); token chung được đọc qua điều khiển Google-Extended. Microsoft cũng nêu các lựa chọn mới của họ không thay đổi tính đủ điều kiện trong kết quả tìm kiếm Bing thông thường.

Tôi có nên chặn các crawler AI trong robots.txt không?

Tách các khóa ra. Luôn chặn thu thập dữ liệu các đường dẫn thực sự nhạy cảm như trước. Nêu lựa chọn huấn luyện qua token chung, từng đường dẫn một. Để mở các crawler câu trả lời (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) và các fetcher do người dùng kích hoạt cho bất cứ thứ gì bạn muốn được trích dẫn; chặn chúng sẽ đưa các trang của bạn ra khỏi câu trả lời mà người mua nhìn thấy.

Các công ty AI sẽ bắt đầu tuân thủ token này khi nào?

Microsoft Bing bắt đầu từ 1 tháng 2 năm 2027 (chính thức). Google nhắm tới 2027, tài liệu crawler của họ nói đầu 2027. OpenAI nói “trong những tháng tới” (chính thức). Anthropic đã triển khai. Tính tới 4 tháng 11 năm 2026 chưa công ty nào tuân thủ token.

Nguồn

• 3.83:10.91:1Tỷ lệ chặn-cho phép: crawler huấn luyện Bytespider 3.83:1 so với crawler câu trả lời OAI-SearchBot 0.91:1 (Cloudflare Radar, ảnh chụp 28 tháng 9 năm 2026, 4,242 tệp robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): phân tích của TechnologyChecker về dữ liệu Cloudflare Radar
• 19.9%11.4%19.9% trang web chặn ít nhất một crawler huấn luyện AI ở gốc so với 11.4% chặn một crawler tìm kiếm AI; 454 trong số 874 trang chặn GPTBot cho phép OAI-SearchBot (thu thập độc lập, 5,467 tệp robots.txt, tháng 10 năm 2026): nghiên cứu robots.txt 2026 của Citevisor
• 41%41% trang web B2B chặn ít nhất một bot AI lớn (kiểm toán nhóm Q1 2026; benchmark nhà cung cấp, chính cơ sở khách hàng của CapstonAI): hướng dẫn robots.txt của CapstonAI
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, “Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 tháng 10 năm 2026; ngữ nghĩa token, tính độc lập với thu thập dữ liệu, quy tắc wildcard và ưu tiên): datatracker.ietf.org
• Bài thông báo của Kelley trên danh sách nhóm công tác IETF (tình trạng triển khai của Anthropic; “không nêu bất kỳ lựa chọn nào”): mailarchive.ietf.org
• Google Search Central Blog, “Supporting a shared AI training control for websites” (John Mueller, 30 tháng 10 năm 2026; cách đọc Google-Extended, tính đủ điều kiện grounding của Gemini Apps, mục tiêu 2027): developers.google.com
• Tài liệu crawler của Google, token Google-Extended (không ảnh hưởng tới việc đưa vào Search hay xếp hạng; phạm vi grounding; ghi chú hỗ trợ đầu 2027): developers.google.com
• Microsoft Bing Blog, “Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 tháng 10 năm 2026; các điều khiển cấp trang ai-training / ai-grounding, DisallowExtended, lịch 1 tháng 2 / 1 tháng 3 / 30 tháng 9 năm 2027, NoArchive và NoCache nghỉ hưu): blogs.bing.com
• OpenAI, “Making it easier for websites to express AI training preferences” (30 tháng 10 năm 2026; “trong những tháng tới”; các điều khiển crawler hiện có vẫn giữ nguyên): openai.com
• The Verge, đưa tin về việc bốn công ty áp dụng và sự không cam kết của Meta (30 tháng 10 năm 2026): theverge.com
• joinmassive, kiểm tra triển khai trên 49 trang tin tức vào 1 tháng 11 năm 2026 (0 lượt triển khai token; 10 trong số 33 trang chủ tải được vẫn mang NoArchive/NoCache): joinmassive.com