توكنات تدريب الذكاء الاصطناعي في robots.txt وصلت: ماذا تحجب وماذا تترك مفتوحًا

في 30 أكتوبر 2026 أعلنت Google وMicrosoft Bing وOpenAI وAnthropic كلٌّ على حدة أنها ستلتزم برمز robots.txt مشترك واحد للانسحاب من تدريب الذكاء الاصطناعي، وهو __usage_ai-training. كما تفصل Bing الـ grounding في عنصر تحكم خاص بها على مستوى الصفحة. يعاقب هذا التغيير الحجب الشامل، الذي يراه تدقيق معياري من أحد الموردين على 41% من مواقع B2B. إليك ما يتحكم فيه كل مفتاح، وما تصلحه قبل بدء الإلزام في 1 فبراير 2027.

ما الذي تغير في 30 أكتوبر

سطر واحد في robots.txt يخاطب الآن أربع شركات ذكاء اصطناعي دفعة واحدة. مسودة الإنترنت Internet-Draft‏ draft-kelley-aipref-training-preference-signal-00، التي كتبها Kevin Kelley من Anthropic ونُشرت في 30 أكتوبر، تعرّف «رمز تفضيل» (policy token)، وهو __usage_ai-training. يكتب الموقع مجموعة robots.txt عادية تحت هذا الرمز، ويقرأه المزودون المشاركون بوصفه تفضيل الموقع بشأن استخدام محتواه في تدريب الذكاء الاصطناعي التوليدي. الشركات الأربع كلها أيدته في اليوم نفسه.

مثال المسودة نفسه يستبعد الموقع بأكمله من التدريب باستثناء مجلد واحد:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

لا تضيف الآلية أي صياغة جديدة. قواعد المسارات تحت الرمز تتبع RFC 9309، معيار robots.txt، بما في ذلك أولوية longest-match، والمحللات التي لا تعرف الرمز تتجاهل المجموعة كما تتجاهل أي user agent مجهول. المسودة تقديم فردي بلا صفة رسمية في IETF؛ وتنتهي في 3 مايو 2027 إن لم تُراجع. الدعم مُعلن لا مُفعّل، وكل شركة حددت موعدًا مختلفًا:

Meta مذكورة في شكر المسودة ورحبت علنًا بالإشارة، لكنها لم تتعهد بالالتزام بها (The Verge). قائمة الشركات التي تلتزم بالرمز فعلًا هي أربع اليوم. تعامل معه بوصفه تفضيلًا وعدت هذه الأربع بقراءته، لا قانونًا للويب.

التدريب والـ grounding والزحف ثلاثة مفاتيح مختلفة

الرمز يقول كيف يجوز استخدام المحتوى، لا هل يمكن لزاحف جلبه. «رمز التفضيل هذا ليس توجيهًا لسلوك الزحف»، هكذا تنص المسودة. ثلاثة مفاتيح منفصلة على الطاولة الآن: وصول الزحف (دون تغيير، قواعد لكل زاحف)؛ الاستخدام للتدريب (الرمز المشترك الجديد)؛ والاستخدام للـ grounding الذي يغذي إجابات الذكاء الاصطناعي (ضوابط على مستوى الصفحة لدى Microsoft؛ وGoogle-Extended لدى Google).

أربعة حدود في المسودة أهم من الصياغة:

1. قواعد wildcards لا تُحتسب. «لا يجوز تفسير مجموعات wildcards (أي User-agent: *) على أنها مطابقة لرمز التفضيل». حجب شامل Disallow: / تحت * يمنع الزواحف لكنه لا يعبر عن أي تفضيل تدريب.
2. لا مجموعة تعني لا تفضيل. الملف بلا الرمز «لا يعبر عن أي تفضيل على الإطلاق». الصمت ليس رفضًا.
3. الاتفاقات الخاصة تتفوق. «يجوز للاتفاقات الخاصة أن تتجاوز التفضيلات المعبر عنها عبر هذه الآلية».
4. الخاص يتفوق على العام. يجوز للمستخدمين معاملة رموز الملكية مثل Google-Extended أو GPTBot بوصفها أخص من الرمز المشترك.

توجه Google الرمز المشترك إلى مفتاح Google-Extended. يقول إعلان Search Central إن موقعًا ينسحب بالرمز دون ذكر Google-Extended، تخطط Google لقراءة ذلك «كأن الناشر حظر Google-Extended» (رسمي). يحكم Google-Extended تدريب نماذج Gemini والـ grounding في Gemini Apps وVertex AI، وهو «لا يؤثر على إدراج الموقع في Google Search ولا يُستخدم هناك كإشارة ترتيب» (الوثائق الرسمية). تشير الوثائق نفسها إلى أن المواقع التي تسمح صراحة لـ Google-Extended تكون مؤهلة للظهور في إجابات Gemini Apps وتتلقى نقرات. اجمع العبارتين الرسميتين معًا وستكون قراءتنا — لا جملة من Google — هذه: الانسحاب الشامل من التدريب المتروك كما هو يُخرج الموقع أيضًا من grounding في Gemini Apps. إن أردت تلك الاستشهادات، اسمح لـ Google-Extended صراحةً.

مضت Bing أبعد وجعلت الـ grounding إعدادًا خاصًا بها على مستوى الصفحة، يحمله وسم meta أو ترويسة X-Robots-Tag (رسمي):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

لا يوجد تفضيل grounding على مستوى الموقع في robots.txt؛ الـ grounding على مستوى الصفحة فقط. يحافظ DisallowExtended على أهلية المحتوى للتجارب التي تديرها Microsoft مثل Copilot وAI Mode وMicrosoft 365 مع حجبه عن خدمات grounding التي تبيعها Microsoft لأطراف ثالثة مثل Web IQ. كلا التفضيلين يعود إلى Allow افتراضيًا عندما لا يُنشر شيء. تحذير Microsoft نفسها: اختيار Disallow أو DisallowExtended سيقلل بشكل كبير ظهورك في التجارب المولدة بالذكاء الاصطناعي، مع أن أيًا منهما لا يغير الأهلية في نتائج Bing العادية.

الحجب الشامل هو الخطأ المكلف

حجب «بوتات الذكاء الاصطناعي» كجماعة واحدة كان دائمًا خطأ تصنيف. زواحف التدريب وزواحف الإجابات user agents مختلفة، وحجب النوع الثاني يزيل الموقع من الإجابات التي يراها المشترون. الضوابط الجديدة تجعل التفريق لا مفر منه.

السوق يفصل بين الاثنين أصلًا، وإن كان بشكل غير متساوٍ. لقطة Cloudflare Radar بتاريخ 28 سبتمبر 2026 عن 4,242 ملف robots.txt تظهر كل زاحف تدريب رئيسي محجوبًا أكثر مما يُسمح له: Bytespider 3.83:1، وCCBot 2.61:1، وGPTBot 1.60:1، وClaudeBot 1.58:1، وGoogle-Extended 1.38:1 (بيانات Cloudflare Radar عبر TechnologyChecker). زواحف الإجابات تنقلب بالعكس: OAI-SearchBot 0.91:1، وbingbot 0.99:1. وجد زحف مستقل لـ 5,467 ملف robots.txt أن 19.9% من المواقع تحجب زاحف تدريب واحدًا على الأقل عند الجذر مقابل 11.4% تحجب زاحف بحث بالذكاء الاصطناعي، وأن 454 من أصل 874 محجبًا لـ GPTBot ما زالوا يسمحون لـ OAI-SearchBot (Citevisor، أكتوبر 2026). المشغلون الذين فهموا الانقسام أبقوا الباب الصحيح مفتوحًا.

من لم يفهم هم الرقم التحذيري. يضع تدقيق CapstonAI لمجموعة Q1 2026 (معيار مورّد مسحوب من قاعدة عملائه هو) 41% من مواقع B2B تحجب بوت ذكاء اصطناعي رئيسيًا واحدًا على الأقل، وغالبًا ما هو بقايا ذعر 2023-2024 «احجبوا كل شيء» (CapstonAI). كل حجب من تلك كُتب حين كان المفتاح الوحيد المتاح هو مفتاح الإيقاف على مستوى الزحف. من 1 فبراير 2027 تنفصل المفاتيح، والموقع الذي ما زال يحجب في الطبقة الخاطئة يختفي بصمت من إجابات لم يقصد مغادرتها. يهم هذا لأن الإجابات هي حيث يبدأ المشترون الآن؛ ملاحظتنا السابقة تغطي لماذا ذكرك بالذكاء الاصطناعي يتفوق على الترتيب في Google.

ما تحجبه وما تتركه مفتوحًا

قرر بحسب نوع المحتوى، لا بحسب الشركة. التدريب قرار حقوق تستطيع الآن التعبير عنه مرة واحدة، مسارًا مسارًا. زواحف الإجابات وجالب المستخدم توزيع: اتركها مفتوحة لكل ما تريد الاستشهاد به.

صف يستحق تنبيهًا. الجالبات التي يشغلها المستخدم (ChatGPT-User وClaude-User وPerplexity-User) تعمل عندما يسأل شخصٌ عنك داخل محادثة. توثق OpenAI أن robots.txt قد لا ينطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهله عمومًا (Citevisor). لهذه المجموعة، robots.txt أداة ضعيفة.

ما تفعله قبل 1 فبراير 2027

لا شيء مفروض بعد، وهذا بالضبط سبب جدوى استخدام الأشهر الثلاثة القادمة. الإصلاحات لا تدخل حيز التنفيذ إلا بعد أن تعيد المحركات زحف الموقع، وتحذر Microsoft من أن نشر الإعداد ليس مثل تفعيله. التسلسل:

1. اقرأ robots.txt الخاص بك اليوم. اذكر كل رمز ذكاء اصطناعي فيه وصنّفها إلى تدريب وإجابات وجلب مستخدم. فحصنا الفوري المجاني يقوم بالمرور الأول في ثوانٍ.
2. أوقف العمل بالحجب الشامل القديم. كل ما أُضيف في 2023-2024 «احتياطًا» يستحق قرارًا جديدًا مقابل الجدول أعلاه.
3. إن كنت تنشر NoArchive أو NoCache، تحرك قبل 1 مارس 2027: انشر التفضيلات الجديدة وسجل تفضيل grounding مؤقت في Bing Webmaster Tools، الذي يفتح في 15 ديسمبر 2026. أفوتك الموعد فتعود تلك الصفحات إلى Allow للـ grounding حتى إعادة الزحف.
4. إن أردت استشهادات من Gemini Apps، اسمح لـ Google-Extended صراحةً. بعد تبنّي الرمز، الصمت يُقرأ disallow.
5. أضف مجموعة الرمز بقصد، مسارًا مسارًا، مع مثال المسودة نموذجًا.
6. تحقق وأعد الفحص شهريًا. الطريقة اليدوية تستغرق عصرًا وتحتاج لا أدوات.

النافذة قبل الإلزام

حتى 4 نوفمبر 2026 لم تلتزم أي من الشركات الأربع بالرمز بعد، والتبني قريب من الصفر. فحصت joinmassive‏ 49 موقع أخبار في 1 نوفمبر ووجدت صفر عمليات نشر للرمز؛ و10 من 33 صفحة رئيسية استطاعت تحميلها ما زالت تحمل وسوم NoArchive أو NoCache (joinmassive).

أين ننتمي

نبني تشخيصات الرؤية مهنةً، وزحف الزواحف في صميمها. الفحص الفوري المجاني من CiteGap يقرأ robots.txt ويبلّغ عن زواحف الذكاء الاصطناعي المحجوبة: GPTBot وOAI-SearchBot وClaudeBot وPerplexityBot وGoogle-Extended. يستغرق ثوانٍ. وللصورة الكاملة عما يقوله الذكاء الاصطناعي عن منتجك، التشخيص المكتوب يشغّل 30 سؤال مشترٍ ويسلمك قائمة إصلاحات.

شغّل الفحص الفوري المجاني

الأسئلة المتكررة

ما هو رمز __usage_ai-training في robots.txt؟

«رمز تفضيل» مشترك معرّف في مسودة الإنترنت Internet-Draft‏ draft-kelley-aipref-training-preference-signal-00. يكتب الموقع مجموعة robots.txt عادية تحت User-Agent: __usage_ai-training، وتعبّر قواعد Disallow وAllow تحتها عن تفضيل الموقع بشأن استخدام كل مسار في تدريب الذكاء الاصطناعي التوليدي. أعلنت Google وMicrosoft Bing وOpenAI وAnthropic في 30 أكتوبر 2026 أنها ستلتزم به، بمواعيد بدء من مطلع 2027 فصاعدًا حسب الشركة.

ما هو رمز ai-grounding؟

هو تفضيل AI Grounding الخاص بـ Microsoft على مستوى الصفحة. استخدم <meta name="Bingbot" content="ai-grounding:disallow"> (أو ترويسة X-Robots-Tag) لاستثناء صفحة من الإجابات المولدة بالذكاء الاصطناعي، وai-grounding:disallowextended للسماح لتجارب Microsoft المُشغَّلة مثل Copilot مع إبقاء خدمات grounding التي تبيعها Microsoft لأطراف ثالثة محجوبة. لا يوجد تفضيل grounding على مستوى الموقع في robots.txt، والوضع الافتراضي عندما لا يُنشر شيء هو Allow.

هل User-agent: * Disallow: / يستثني موقعي من تدريب الذكاء الاصطناعي؟

لا. تنص المسودة على أن مجموعات wildcards لا يجوز تفسيرها على أنها مطابقة لرمز التفضيل، وملف robots.txt بلا مجموعة __usage_ai-training لا يعبر عن أي تفضيل على الإطلاق. الحجب الشامل يظل يدير الزحف، وهو مفتاح منفصل عن الاستخدام.

هل الانسحاب من تدريب الذكاء الاصطناعي يضر ترتيبي في Google Search؟

لا. توثيق زواحف Google يقول إن Google-Extended لا يؤثر على إدراج الموقع في Google Search ولا يُستخدم هناك كإشارة ترتيب (رسمي)، ويُقرأ الرمز المشترك عبر عنصر تحكم Google-Extended. كما تذكر Microsoft أن تفضيلاتها الجديدة لا تغير الأهلية في نتائج بحث Bing العادية.

هل ينبغي حجب زواحف الذكاء الاصطناعي في robots.txt؟

افصل المفاتيح. احجب زحف المسارات الحساسة فعلًا كما تفعل دائمًا. عبّر عن تفضيل التدريب عبر الرمز المشترك مسارًا مسارًا. اترك زواحف الإجابات (OAI-SearchBot، Claude-SearchBot، PerplexityBot، bingbot) وجالب المستخدم مفتوحة لكل ما تريد الاستشهاد به؛ فحجبها يزيل صفحاتك من الإجابات التي يراها المشترون.

متى ستبدأ شركات الذكاء الاصطناعي بالالتزام بالرمز؟

Microsoft Bing تبدأ في 1 فبراير 2027 (رسمي). تستهدف Google عام 2027، وتقول وثائق زواحفها مطلع 2027. تقول OpenAI «في الأشهر المقبلة» (رسمي). Anthropic نفذت بالفعل. حتى 4 نوفمبر 2026 لم تلتزم أي شركة بالرمز بعد.

المصادر

• 3.83:10.91:1نسب الحجب إلى السماح: زاحف التدريب Bytespider 3.83:1 مقابل زاحف الإجابات OAI-SearchBot 0.91:1 (Cloudflare Radar، لقطة 28 سبتمبر 2026، 4,242 ملف robots.txt؛ GPTBot 1.60:1، ClaudeBot 1.58:1، Google-Extended 1.38:1، CCBot 2.61:1، bingbot 0.99:1): تحليل TechnologyChecker لبيانات Cloudflare Radar
• 19.9%11.4%19.9% من المواقع تحجب زاحف تدريب بالذكاء الاصطناعي واحدًا على الأقل عند الجذر مقابل 11.4% تحجب زاحف بحث بالذكاء الاصطناعي؛ 454 من أصل 874 محجبًا لـ GPTBot يسمحون لـ OAI-SearchBot (زحف مستقل، 5,467 ملف robots.txt، أكتوبر 2026): دراسة robots.txt 2026 من Citevisor
• 41%41% من مواقع B2B تحجب بوت ذكاء اصطناعي رئيسيًا واحدًا على الأقل (تدقيق مجموعة Q1 2026؛ معيار مورّد، قاعدة عملاء CapstonAI نفسها): دليل CapstonAI لـ robots.txt
• مسودة IETF Internet-Draft‏ draft-kelley-aipref-training-preference-signal-00، «Machine-Readable Training Preference Signal» (Kevin Kelley، Anthropic، 30 أكتوبر 2026؛ دلالات الرمز، الاستقلال عن الزحف، قواعد wildcards والأولوية): datatracker.ietf.org
• منشور إعلان Kelley في قائمة مجموعة عمل IETF (حالة تنفيذ Anthropic؛ «لا يعبر عن أي تفضيل على الإطلاق»): mailarchive.ietf.org
• مدونة Google Search Central، «Supporting a shared AI training control for websites» (John Mueller، 30 أكتوبر 2026؛ تفسير Google-Extended، أهلية grounding في Gemini Apps، الهدف 2027): developers.google.com
• توثيق زواحف Google، رمز Google-Extended (لا أثر على الإدراج في Search أو الترتيب؛ نطاق grounding؛ ملاحظة دعم مطلع 2027): developers.google.com
• مدونة Microsoft Bing، «Your content, your choice: clearer preferences for training and grounding» (Krishna Madhavan، 30 أكتوبر 2026؛ ضوابط صفحة ai-training / ai-grounding، DisallowExtended، جدول 1 فبراير / 1 مارس / 30 سبتمبر 2027، إيقاف NoArchive وNoCache): blogs.bing.com
• OpenAI، «Making it easier for websites to express AI training preferences» (30 أكتوبر 2026؛ «الأشهر المقبلة»؛ ضوابط الزواحف الحالية تستمر): openai.com
• The Verge، تغطية تبني الشركات الأربع وعدم التزام Meta (30 أكتوبر 2026): theverge.com
• joinmassive، فحص نشر على 49 موقع أخبار في 1 نوفمبر 2026 (0 رموز منشورة؛ 10 من 33 صفحة رئيسية قابلة للتحميل ما زالت تحمل NoArchive/NoCache): joinmassive.com