هل حظر زواحف الذكاء الاصطناعي في robots.txt يحمي متجر Shopify الخاص بك أم يخفيه؟
في مرحلة ما من تاريخ متجرك، ربما لصق شخص ما قائمة بأسماء زواحف الذكاء الاصطناعي داخل ملف robots.txt.liquid. ربما كان مطوّرًا تابع خبرًا عن بيانات تدريب النماذج، أو قائمة تحقق من وكالة خلال ترحيل القالب. وإن لم يُدوَّن سبب ذلك، فإن هذا الملف يتخذ قرارًا نيابةً عنك كل يوم.
الجواب المختصر أن حظر زاحف تدريب وحظر زاحف بحث قراران مختلفان، وكثير من المواقع تتخذ القرار الثاني دون قصد. يقدّم هذا المقال طريقة لقراءة ما يقوله ملفك اليوم، واتخاذ القرار بشأن كل روبوت على حدة، وتوثيق الاختيار حتى لا يضطر الشخص التالي إلى التخمين.
ماذا يسمح ملف robots.txt الخاص بك به اليوم؟
افتح yourstore.com/robots.txt في المتصفح واقرأه من أوله إلى آخره. ابحث عن وكلاء مستخدمين محددين للذكاء الاصطناعي، ومجموعة "User-agent: *" متبوعة بـ "Disallow: /"، وأي قاعدة تمس السياسات أو المنتجات أو المجموعات. ثم تحقّق من إعدادات شبكة توصيل المحتوى (CDN) أو جدار الحماية لديك، لأن robots.txt لا يُظهر لك الحظر المفروض هناك.
في إعداد Shopify الافتراضي يكون الملف عادةً مفتوحًا أمام زواحف الذكاء الاصطناعي. يشير مقال لـ Craftshift (6 مايو 2026) إلى أن القواعد الافتراضية تغطي مسارات مثل الإدارة وسلة التسوق والدفع ونتائج البحث، ولا تحظر GPTBot أو ClaudeBot أو PerplexityBot أو OAI-SearchBot أو Claude-SearchBot. وتشير مراجعة لمجتمع Shopify نُشرت في 20 أكتوبر 2026 في الاتجاه نفسه: من أصل 98 متجرًا، حظر متجران أيًّا من 14 زاحفًا للذكاء الاصطناعي، ولم يستخدم أي منها حظرًا بالأحرف البديلة، ولم يُحظر أي من 52 متجرًا جرى اختباره بوصفه GPTBot على مستوى شبكة توصيل المحتوى أو جدار الحماية.
تعامل مع هذه المراجعة بوصفها عينة صغيرة وغير رسمية. يلاحظ معدّها أن المتاجر كانت قد ثبّتت تطبيق رؤية للذكاء الاصطناعي، ومن المرجّح أنها أكثر انتباهًا لهذا الأمر من المتوسط. والقراءة الأمينة أن المتاجر ذات الملف الافتراضي تكون عادةً مفتوحة، وأن المتاجر المغلقة تميل إلى أن يكون شخص ما قد عدّل ملفها.
هناك فحصان آخران يستغرق كلٌّ منهما دقيقة. حمّل صفحات سياسة الإرجاع والشحن في نافذة خاصة (في Shopify تقع تحت /policies/) للتأكد من أنها تفتح دون تسجيل دخول أو خطأ. ثم شغّل فحص GEO مجانيًا يقرأ صفحاتك العامة، لترى ما يراه القارئ الخارجي لا ما يُظهره محرر القالب لديك.
زاحف التدريب أم زاحف البحث أم جالب يُشغّله المستخدم: ماذا يفعل كل منها؟
يجمع زاحف التدريب صفحات قد تُستخدم لبناء نماذج مستقبلية. ويفهرس زاحف البحث الصفحات كي يتمكن المساعد من عرضها في الإجابات. ويحمّل الجالب المُشغَّل من المستخدم صفحة واحدة لأن شخصًا طلب ذلك. لكل منها عاقبة مختلفة عند حظره، وقد لا يتبع الثالث ملف robots.txt أصلًا.
| الدور | OpenAI | Anthropic | Perplexity |
|---|---|---|---|
| التدريب | GPTBot | ClaudeBot | لا يوجد. لا يجمع PerplexityBot بيانات تدريب. |
| البحث والاستشهاد | OAI-SearchBot | Claude-SearchBot | PerplexityBot |
| الجلب بناءً على طلب شخص | ChatGPT-User | Claude-User | Perplexity-User |
تصف الشركات هذا التقسيم في وثائقها. تقول OpenAI إن منع GPTBot يشير إلى أن محتوى الموقع لا ينبغي استخدامه للتدريب، وإن إعداد كل روبوت مستقل، وإن المواقع التي تنسحب من OAI-SearchBot لن تظهر في إجابات بحث ChatGPT، وإن كانت قد تظهر بوصفها روابط ملاحية. أما بالنسبة إلى ChatGPT-User فتقول OpenAI إن قواعد robots.txt قد لا تنطبق، لأن الشخص هو من بدأ الزيارة.
توثّق Anthropic أن ClaudeBot وClaude-User وClaude-SearchBot تلتزم بملف robots.txt، وتقول إن حظر Claude-SearchBot يوقف الفهرسة للبحث وقد يقلل الظهور في نتائج بحث المستخدمين. أما بالنسبة إلى Perplexity، فيذكر ملخص Anagram لوثائقها أن PerplexityBot يدعم نتائج البحث، بينما يجلب Perplexity-User صفحات فردية عند الطلب ويتجاهل robots.txt عمومًا.
كم موقعًا يحظر روبوتًا واحدًا وينسى الآخر؟
جمعت دراسة من aicrawlercheck.com ملفات robots.txt من أعلى 10,000 نطاق في قائمة Tranco بتاريخ 5 أكتوبر 2026. من بين 4,962 ملفًا قابلًا للتحليل، حظر 710 ملفات GPTBot، وسمح 347 منها (48.9%) بـ OAI-SearchBot. أما في ما يخص Anthropic، فقد سمح 307 من أصل 665 موقعًا حظرت ClaudeBot (46.2%) بـ Claude-SearchBot.
وقارنت الدراسة نفسها Google-Extended بـ Googlebot، فوجدت أن 477 من أصل 597 مانعًا (79.9%) تركوا Googlebot مفتوحًا. وتلاحظ أن 11 ملفًا فقط تحظر Googlebot عمدًا، لذا فإن هذه النسبة المرتفعة ناتجة في معظمها عن الإعداد الافتراضي. وتغطي الدراسة المواقع الكبيرة لا متاجر Shopify، وتقرأ ملفات robots.txt فقط دون جدران الحماية أو قواعد CDN أو التوجيهات الوصفية. إنها لقطة لنية معلنة لا لسلوك زواحف مُلاحَظ.
ماذا يمكنك تعديله في Shopify، وما الذي لا تستطيع التحكم فيه؟
لا ترفع ملف robots.txt إلى Shopify. بل تضيف قالبًا باسم robots.txt.liquid يستبدل المخرجات المولّدة من Shopify، وتعدّل القواعد هناك. لا تستطيع التحكم في الزواحف التي تتجاهل robots.txt، أو القواعد المفروضة من شبكة CDN أو جدار حماية أمام المتجر، أو ما يفعله مورّد بصفحات يحتفظ بها أصلًا.
توصي وثائق Shopify بالبدء من كائن robots في Liquid بدلًا من النص العادي. والخطوات قصيرة:
- احفظ نسخة من ملف /robots.txt الحالي، لتقارن به المخرجات الجديدة.
- في لوحة الإدارة، انتقل إلى Online Store ثم Themes ثم Edit code. أضف ملفًا جديدًا باسم robots.txt.liquid في مجلد Templates.
- احتفظ بحلقة robots.default_groups التي يستخدمها مثال Shopify، وأضف مجموعاتك بعدها.
- أعد تحميل /robots.txt وقارنه سطرًا بسطر بالنسخة المحفوظة. تنبّه Shopify إلى أن المخرجات المعروضة لا تطابق الملف المولّد دائمًا بدقة.
أي التعديلات تُحدث الضرر؟
الأخطاء التي تظهر في المقالات متكررة. يذكر Craftshift مجموعة بأحرف بديلة تحظر الجميع عدا Googlebot فتطال زواحف الذكاء الاصطناعي أيضًا، وقاعدة Disallow على /products/ أو /collections/، وقالبًا لم يُراجَع بعد ترحيل القالب. وتضيف أدلة أخرى نسخ قائمة حظر كاملة تشمل زواحف البحث، وحذف حلقة Liquid الافتراضية. ويحدث أيضًا الخطأ المعاكس: حظر ClaudeBot مع إغفال Claude-SearchBot وClaude-User، فتفعل القاعدة أقل مما يظن كاتبها.
متى يكون الحظر الخيار الصحيح؟
الحظر خيار مشروع عندما تعترض على استخدام محتواك في تدريب نماذج مستقبلية، أو لديك أسباب تتعلق بالترخيص أو بسياسة العلامة التجارية، أو تلاحظ حملًا على الزحف لا تستطيع تحمّله. وتقع التكلفة على جانب الاسترجاع: تقول OpenAI إن المواقع المنسحبة من OAI-SearchBot لن تظهر في إجابات بحث ChatGPT. قرّر بشأن كل روبوت وفق مزاياه.
خذ علامة توضيحية تجارية لأدوات المنزل، كان عمل قالبها في 2023 قد ترك قائمة منسوخة من أربعة عشر وكيل مستخدم للذكاء الاصطناعي في robots.txt.liquid. صورها مرخّصة، لذا يريد المالك حظر GPTBot وClaudeBot. لكن لا أحد في الفريق يريد الغياب عن إجابات المساعدين، والقائمة نفسها تحظر OAI-SearchBot وClaude-SearchBot وPerplexityBot أيضًا. يُبقي المالك الحظرين الخاصين بالتدريب ويزيل المدخلات الثلاثة الخاصة بالبحث. وتقول OpenAI إن أنظمتها قد تحتاج نحو 24 ساعة لتعكس تغيير robots.txt في ما يخص البحث.
يجعل هذا التغيير الصفحات مؤهلة، لكنه لا يضمن ذكرها. في المراجعة المجتمعية السابقة، لم يُذكر 65 متجرًا من أصل 94 ممن أُجري عليهم عشرة فحوص على الأقل مطلقًا في سؤال شراء غير مرتبط بعلامة تجارية، وخلص معدّ المراجعة إلى أن وصول الزواحف يفسّر قدرًا ضئيلًا جدًا من هذه الفجوة. وقد مالت فحوص الرؤية في المراجعة نحو Gemini وأُنشئت لكل فئة متجر على حدة، لذا كانت مجموعة أخرى من المطالبات ستعطي أرقامًا مختلفة. الأبواب المفتوحة ضرورية لتُستشهد بك، لكنها غير كافية.
إذا كان القلق هو حمل الزحف لا المبدأ، فتقول Anthropic إنها تدعم التوجيه غير القياسي Crawl-delay، مثل "Crawl-delay: 1" ضمن مجموعة ClaudeBot. وتنصح Anthropic كذلك بعدم الحظر حسب عنوان IP، لأن ذلك يمنع الزاحف من قراءة robots.txt الخاص بك أصلًا.
كيف تسجّل القرار ومتى تراجعه؟
اكتب القرار في مكان سيجده الشخص التالي: أي الروبوتات مسموح بها أو محظورة، وسبب كل منها، ومن وافق عليه، والتاريخ، وتاريخ المراجعة. يُبقي تعليق داخل robots.txt.liquid السبب بجوار القاعدة. راجعه مرتين في السنة على الأقل، وبعد أي تغيير في القالب أو ترحيل.
| الحقل | ما الذي تكتبه |
|---|---|
| القاعدة | كل وكيل مستخدم وهل هو مسموح أم محظور |
| السبب | حقوق المحتوى أو سياسة العلامة أو حمل الزحف أو الظهور في إجابات المساعدين |
| وافق عليه | شخص واحد محدد له سلطة على محتوى العلامة |
| التاريخ | اليوم الذي دخل فيه تغيير القالب حيز التنفيذ |
| محفّز المراجعة | تاريخ تقويمي، إضافة إلى أي استبدال للقالب أو ترحيل |
| التحقق | نسخة محفوظة من /robots.txt قبل التغيير وبعده، وملاحظة بإعدادات جدار الحماية أو CDN في ذلك الوقت |
المعتمِد أهم مما يبدو. فالقاعدة التي تحظر زواحف البحث تغيّر ما إذا كان المساعدون الذين يسألهم المتسوقون قادرين على قراءة صفحات الإرجاع والشحن الخاصة بك، لذا ينبغي أن تكون لدى شخص يملك سمعة العلامة، لا لدى من يملك صلاحية الوصول إلى القالب فحسب.
الأسئلة الشائعة
هل يحظر ملف robots.txt الافتراضي في Shopify زواحف الذكاء الاصطناعي؟
لا. تفيد مقالات من أطراف ثالثة ومراجعة مجتمعية لـ98 متجرًا بأن القواعد الافتراضية تحظر مسارات مثل الإدارة وسلة التسوق والدفع ونتائج البحث، وتترك زواحف الذكاء الاصطناعي الرئيسية وشأنها. تحقق من ملفك على أي حال، لأن تعديل القالب أو الترحيل ربما يكون قد استبدل الإعداد الافتراضي.
إذا حظرت GPTBot، هل سيتوقف ChatGPT عن ذكر متجري؟
توثّق OpenAI إعداد كل روبوت بوصفه مستقلًا. يتعلق GPTBot باستخدام التدريب، بينما يتحكم OAI-SearchBot في ما إذا كان الموقع يظهر في إجابات بحث ChatGPT. حظر GPTBot وحده لا ينسحب بك من البحث، أما حظر OAI-SearchBot فينسحب.
هل يكفي robots.txt لإبعاد صفحة عن مساعدي الذكاء الاصطناعي؟
لا. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، ويتجاهلها Perplexity-User عمومًا، وفق قراءة Anagram لوثائق Perplexity. إذا كان يجب ألا تُجلب صفحة ما، فافرض ذلك على مستوى CDN أو جدار الحماية، أو لا تنشرها أصلًا.
كم يستغرق تغيير robots.txt حتى يسري؟
تقول OpenAI إن أنظمة البحث لديها قد تحتاج نحو 24 ساعة لتعكس التحديث. لم أجد جدولًا زمنيًا معلنًا من Anthropic أو Perplexity، لذا أعد تحميل الملف للتأكد من أنه يُعرض كما قصدت، وأعد الفحص بعد بضعة أيام.
