Token pelatihan AI di robots.txt telah tiba: apa yang diblokir, apa yang dibiarkan terbuka

Pada 30 Oktober 2026, Google, Microsoft Bing, OpenAI, dan Anthropic masing-masing mengumumkan akan mematuhi satu token robots.txt bersama untuk opt-out pelatihan AI: __usage_ai-training. Bing juga memisahkan grounding ke kontrol tingkat halamannya sendiri. Perubahan ini menghukum pemblokiran menyeluruh, yang sebuah audit benchmark vendor menemukan pada 41% situs B2B. Berikut apa yang dikendalikan setiap kunci, dan apa yang perlu diperbaiki sebelum penegakan dimulai 1 Februari 2027.

Apa yang berubah pada 30 Oktober

Satu baris robots.txt kini berbicara kepada empat perusahaan AI sekaligus. Internet-Draft draft-kelley-aipref-training-preference-signal-00, ditulis oleh Kevin Kelley dari Anthropic dan dipublikasikan 30 Oktober, mendefinisikan “policy token” bersama: __usage_ai-training. Sebuah situs menulis grup robots.txt biasa di bawah token ini dan penyedia peserta membacanya sebagai preferensi situs mengenai penggunaan kontennya dalam pelatihan AI generatif. Keempat perusahaan mengonfirmasinya pada hari yang sama.

Contoh draft sendiri mengecualikan seluruh situs dari pelatihan kecuali satu folder:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Mekanismenya tidak menambah sintaks baru. Aturan jalur di bawah token mengikuti RFC 9309, standar robots.txt, termasuk prioritas longest-match, dan parser yang tidak mengenal token mengabaikan grup seperti mengabaikan user agent tak dikenal mana pun. Draft adalah pengajuan individu tanpa status resmi IETF; berakhir 3 Mei 2027 jika tidak direvisi. Dukungan diumumkan, belum aktif, dan setiap perusahaan memberikan tanggal berbeda:

Meta disebutkan dalam ucapan terima kasih draft dan menyambut baik sinyal tersebut secara publik, tetapi tidak berkomitmen untuk mematuhinya (The Verge). Daftar perusahaan yang benar-benar mematuhi token hari ini berjumlah empat. Perlakukan ini sebagai preferensi yang keempat perusahaan tersebut berkomitmen untuk membaca, bukan sebagai hukum web.

Pelatihan, grounding, dan crawling adalah tiga kunci berbeda

Token mengatakan bagaimana konten boleh digunakan, bukan apakah crawler dapat mengambilnya. “Policy token ini bukan arahan untuk perilaku crawling”, kata draft. Tiga kunci terpisah kini ada: akses crawl (tidak berubah, aturan per crawler); penggunaan pelatihan (token bersama baru); dan penggunaan grounding yang mengisi jawaban AI (kontrol tingkat halaman di Microsoft; Google-Extended di Google).

Empat batasan draft lebih penting daripada sintaksnya:

1. Aturan wildcard tidak dihitung. “Grup wildcard (yaitu User-agent: *) TIDAK BOLEH ditafsirkan sebagai cocok dengan policy token”. Disallow: / menyeluruh di bawah * memblokir crawler tetapi tidak menyatakan preferensi pelatihan apa pun.
2. Tidak ada grup, tidak ada preferensi. File tanpa token “tidak menyatakan preferensi apa pun”. Diam bukanlah penolakan.
3. Kesepakatan pribadi lebih diutamakan. “Kesepakatan pribadi dapat menimpa preferensi yang dinyatakan melalui mekanisme ini”.
4. Yang spesifik mengalahkan yang umum. Pengguna dapat memilih untuk memperlakukan token proprietary seperti Google-Extended atau GPTBot sebagai lebih spesifik daripada token bersama.

Google mengarahkan token bersama ke kunci Google-Extended. Pengumuman Search Central menyatakan ketika sebuah situs opt-out melalui token tanpa menyebut Google-Extended, Google berencana membacanya “seolah penerbit disallow Google-Extended” (resmi). Google-Extended mengatur pelatihan model Gemini dan grounding di Gemini Apps serta Vertex AI, dan “tidak memengaruhi penyertaan situs dalam Google Search, juga tidak digunakan sebagai sinyal peringkat di sana” (dokumen resmi). Dokumen yang sama mencatat situs yang secara eksplisit mengizinkan Google-Extended memenuhi syarat untuk muncul dalam jawaban Gemini Apps dan menerima klik. Menggabungkan kedua pernyataan resmi, bacaan kami — bukan kalimat dari Google — adalah: opt-out pelatihan menyeluruh yang dibiarkan apa adanya juga mengeluarkan situs Anda dari grounding di Gemini Apps. Jika Anda menginginkan kutipan tersebut, izinkan Google-Extended secara eksplisit.

Bing melangkah lebih jauh dan menjadikan grounding setelan tingkat halamannya sendiri, dibawa oleh tag meta atau header X-Robots-Tag (resmi):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Tidak ada preferensi grounding tingkat situs di robots.txt; grounding hanya tingkat halaman. DisallowExtended menahan konten dari layanan grounding yang dijual Microsoft kepada pihak ketiga seperti Web IQ sambil menjaga konten tetap memenuhi syarat untuk pengalaman yang dioperasikan Microsoft seperti Copilot, AI Mode, dan Microsoft 365. Kedua preferensi kembali ke Allow ketika tidak ada yang dipublikasikan. Peringatan Microsoft sendiri: memilih Disallow atau DisallowExtended akan sangat mengurangi visibilitas Anda dalam pengalaman yang dihasilkan AI; namun keduanya tidak mengubah kelayakan dalam hasil Bing normal.

Pemblokiran menyeluruh adalah kesalahan yang mahal

Memblokir “bot AI” sebagai satu grup selalu merupakan kesalahan kategori. Crawler pelatihan dan crawler jawaban adalah user agent yang berbeda, dan memblokir yang kedua mengeluarkan situs Anda dari jawaban yang dilihat pembeli. Kontrol baru membuat pemisahan itu tidak terhindarkan.

Pasar sudah memisahkan keduanya, meskipun tidak merata. Snapshot Cloudflare Radar tertanggal 28 September 2026 dari 4,242 file robots.txt menunjukkan setiap crawler pelatihan utama diblokir lebih sering daripada diizinkan: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (data Cloudflare Radar melalui TechnologyChecker). Crawler jawaban condong sebaliknya: OAI-SearchBot 0.91:1, bingbot 0.99:1. Crawl independen terhadap 5,467 file robots.txt menemukan 19.9% situs memblokir setidaknya satu crawler pelatihan di root dibandingkan 11.4% memblokir crawler pencarian AI, dan 454 dari 874 pemblokir GPTBot masih mengizinkan OAI-SearchBot (Citevisor, Oktober 2026). Operator yang memahami pembagian itu membiarkan pintu yang tepat terbuka.

Yang tidak memahaminya adalah angka peringatan itu. Audit kohort Q1 2026 dari CapstonAI (benchmark vendor yang dibangun dari basis pelanggannya sendiri) menemukan 41% situs B2B memblokir setidaknya satu bot AI utama, sering kali sebagai sisa kepanikan “blokir semuanya” 2023-2024 (CapstonAI). Setiap blok tersebut ditulis ketika satu-satunya kunci yang tersedia adalah kill switch tingkat crawl. Mulai 1 Februari 2027 kunci-kuncinya terpisah, dan situs yang masih memblokir di lapisan yang salah menghilang secara diam-diam dari jawaban yang tidak berniat dilepaskan. Ini penting karena jawaban adalah tempat pembeli mulai sekarang; catatan kami sebelumnya membahas mengapa disebutkan dalam AI mengalahkan peringkat Google.

Apa yang diblokir, apa yang dibiarkan terbuka

Putuskan berdasarkan jenis konten, bukan perusahaan. Pelatihan sekarang menjadi keputusan hak yang dapat Anda nyatakan sekali, jalur demi jalur. Crawler jawaban dan fetcher yang dipicu pengguna adalah distribusi: biarkan terbuka untuk apa pun yang ingin Anda kutip.

Satu baris pantas mendapat catatan pengecualian. Fetcher yang dipicu pengguna (ChatGPT-User, Claude-User, Perplexity-User) berjalan ketika seseorang bertanya tentang Anda di dalam obrolan. OpenAI mendokumentasikan bahwa robots.txt mungkin tidak berlaku untuk ChatGPT-User, dan Perplexity menyatakan Perplexity-User umumnya mengabaikannya (Citevisor). Untuk klaster itu, robots.txt adalah alat yang lemah.

Apa yang harus dilakukan sebelum 1 Februari 2027

Belum ada yang dipaksakan, dan itulah tepatnya mengapa tiga bulan ke depan layak dimanfaatkan. Perbaikan hanya berlaku setelah mesin merayapi ulang situs Anda, dan Microsoft memperingatkan bahwa mempublikasikan setelan bukan sama dengan mengaktifkannya. Urutannya:

1. Baca robots.txt Anda hari ini. Daftar setiap token AI di dalamnya dan klasifikasikan sebagai pelatihan, jawaban, dan fetch pengguna. Pemeriksaan instan gratis kami melakukan lintasan pertama dalam hitungan detik.
2. Pensiunkan blok menyeluruh yang usang. Semua yang ditambahkan pada 2023-2024 “untuk jaga-jaga” pantas mendapat keputusan baru terhadap tabel di atas.
3. Jika Anda mempublikasikan NoArchive atau NoCache, bertindaklah sebelum 1 Maret 2027: publikasikan preferensi baru dan catat preferensi grounding sementara di Bing Webmaster Tools yang dibuka 15 Desember 2026. Melewatkan tanggal berarti halaman itu kembali ke Allow untuk grounding sampai dirayapi ulang.
4. Jika Anda menginginkan kutipan Gemini Apps, izinkan Google-Extended secara eksplisit. Setelah token diadopsi, diam dibaca sebagai disallow.
5. Tambahkan grup token secara sengaja, jalur demi jalur, menggunakan contoh draft sebagai templat.
6. Verifikasi dan periksa ulang bulanan. Metode manual memakan satu sore dan tidak memerlukan alat.

Jendela sebelum penegakan

Per 4 November 2026 belum ada satu pun dari keempat perusahaan yang mematuhi token, dan adopsi mendekati nol. joinmassive memeriksa 49 situs berita pada 1 November dan menemukan nol deployment token; 10 dari 33 halaman beranda yang bisa dimuat masih memuat tag NoArchive atau NoCache (joinmassive).

Di mana kami berdiri

Kami membangun diagnosa visibilitas untuk mencari nafkah, dan akses crawler berada di pusatnya. Pemeriksaan instan gratis dari CiteGap membaca robots.txt Anda dan melaporkan crawler AI mana yang diblokir: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, dan Google-Extended. Butuh beberapa detik. Untuk gambaran lengkap apa yang dikatakan AI tentang produk Anda, diagnosa tertulis menjalankan 30 pertanyaan pembeli dan memberi Anda daftar perbaikan.

Jalankan pemeriksaan instan gratis

Pertanyaan yang sering diajukan

Apa itu token __usage_ai-training di robots.txt?

“Policy token” bersama yang didefinisikan dalam IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00. Sebuah situs menulis grup robots.txt biasa di bawah User-Agent: __usage_ai-training, dan aturan Disallow serta Allow di bawahnya menyatakan preferensi situs mengenai penggunaan setiap jalur dalam pelatihan AI generatif. Google, Microsoft Bing, OpenAI, dan Anthropic mengumumkan pada 30 Oktober 2026 bahwa mereka akan mematuhinya, dengan tanggal mulai dari awal 2027.

Apa itu token ai-grounding?

Preferensi AI Grounding tingkat halaman milik Microsoft. Atur <meta name="Bingbot" content="ai-grounding:disallow"> (atau header X-Robots-Tag) untuk mengecualikan halaman dari jawaban yang dihasilkan AI, dan ai-grounding:disallowextended untuk mengizinkan pengalaman yang dioperasikan Microsoft seperti Copilot sambil menahan layanan grounding yang dijual Microsoft kepada pihak ketiga. Tidak ada preferensi grounding tingkat situs di robots.txt, dan grounding default ke Allow ketika tidak ada yang dipublikasikan.

Apakah User-agent: * Disallow: / mengeluarkan situs saya dari pelatihan AI?

Tidak. Draft menyatakan grup wildcard TIDAK BOLEH ditafsirkan sebagai cocok dengan policy token, dan file robots.txt tanpa grup __usage_ai-training tidak menyatakan preferensi apa pun. Pemblokiran menyeluruh tetap mengatur crawling, yang merupakan kunci terpisah dari penggunaan.

Apakah opt-out dari pelatihan AI merugikan peringkat Google Search saya?

Tidak. Dokumentasi crawler Google menyatakan Google-Extended tidak memengaruhi penyertaan situs dalam Google Search dan tidak digunakan sebagai sinyal peringkat di sana (resmi); token bersama dibaca melalui kontrol Google-Extended. Microsoft juga menyatakan preferensi barunya tidak mengubah kelayakan dalam hasil pencarian Bing normal.

Haruskah saya memblokir crawler AI di robots.txt?

Pisahkan kuncinya. Selalu blokir crawling jalur yang benar-benar sensitif seperti biasa. Nyatakan preferensi pelatihan melalui token bersama, jalur demi jalur. Biarkan crawler jawaban (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) dan fetcher yang dipicu pengguna terbuka untuk apa pun yang ingin Anda kutip; memblokirnya mengeluarkan halaman Anda dari jawaban yang dilihat pembeli.

Kapan perusahaan AI akan mulai mematuhi token ini?

Microsoft Bing mulai 1 Februari 2027 (resmi). Google menargetkan 2027, dokumentasi crawlernya menyebut awal 2027. OpenAI berkata “dalam bulan-bulan mendatang” (resmi). Anthropic sudah menerapkannya. Per 4 November 2026 belum ada perusahaan yang mematuhi token.

Sumber

• 3.83:10.91:1Rasio blokir-izinkan: crawler pelatihan Bytespider 3.83:1 dibandingkan crawler jawaban OAI-SearchBot 0.91:1 (Cloudflare Radar, snapshot 28 September 2026, 4,242 file robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): analisis TechnologyChecker atas data Cloudflare Radar
• 19.9%11.4%19.9% situs memblokir setidaknya satu crawler pelatihan AI di root dibandingkan 11.4% memblokir crawler pencarian AI; 454 dari 874 pemblokir GPTBot mengizinkan OAI-SearchBot (crawl independen, 5,467 file robots.txt, Oktober 2026): studi robots.txt 2026 dari Citevisor
• 41%41% situs B2B memblokir setidaknya satu bot AI utama (audit kohort Q1 2026; benchmark vendor, basis pelanggan CapstonAI sendiri): panduan robots.txt dari CapstonAI
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, “Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 Oktober 2026; semantik token, independensi crawling, aturan wildcard dan prioritas): datatracker.ietf.org
• Posting pengumuman Kelley di milis working group IETF (status implementasi Anthropic; “tidak menyatakan preferensi apa pun”): mailarchive.ietf.org
• Google Search Central Blog, “Supporting a shared AI training control for websites” (John Mueller, 30 Oktober 2026; tafsiran Google-Extended, kelayakan grounding Gemini Apps, target 2027): developers.google.com
• Dokumentasi crawler Google, token Google-Extended (tidak ada efek pada penyertaan Search atau peringkat; cakupan grounding; catatan dukungan awal 2027): developers.google.com
• Microsoft Bing Blog, “Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 Oktober 2026; kontrol tingkat halaman ai-training / ai-grounding, DisallowExtended, jadwal 1 Feb / 1 Mar / 30 Sep 2027, NoArchive dan NoCache dipensiunkan): blogs.bing.com
• OpenAI, “Making it easier for websites to express AI training preferences” (30 Oktober 2026; “dalam bulan-bulan mendatang”; kontrol crawler yang ada tetap berlaku): openai.com
• The Verge, liputan adopsi empat perusahaan dan non-komitmen Meta (30 Oktober 2026): theverge.com
• joinmassive, pemeriksaan deployment pada 49 situs berita pada 1 November 2026 (0 deployment token; 10 dari 33 halaman beranda yang bisa dimuat masih memuat NoArchive/NoCache): joinmassive.com