مولّد robots.txt

ما هي مولّد robots.txt؟

مولّد robots.txt أداة مجانية تعمل داخل المتصفح وتكتب ملف robots.txt الذي تقرأه زواحف الويب في جذر موقعك لتقرّر ما الذي يجوز لها جلبه. تضبط User-agent (الافتراضي *)، وتُدرج مسار Disallow واحدًا في كل سطر مع أي استثناءات Allow، وتضيف اختياريًا Crawl-delay ورابط Sitemap، فتحوّل الأداة كل ذلك إلى التوجيهات الصحيحة. كما تتضمّن إعدادًا مسبقًا بمربعات اختيار يحجب زواحف تدريب الذكاء الاصطناعي المعروفة — GPTBot وClaudeBot وCCBot وGoogle-Extended — بإلحاق مجموعة منفصلة لكلٍّ منها. يستخدمها أصحاب المواقع وأخصائيو تحسين محركات البحث والمطوّرون عند إطلاق موقع، أو لإخفاء مسارات الإدارة أو الاختبار عن محركات البحث، أو لرفض الكشط بالذكاء الاصطناعي. انسخ الناتج إلى ملف باسم robots.txt في جذر نطاقك، أو استخدم زر التنزيل.

كيفية استخدام مولّد robots.txt

1. أدخل وكيل المستخدم الذي تنطبق عليه القواعد، أو اتركه * لجميع الزواحف.
2. اكتب المسارات المراد حجبها في مربع Disallow، مسارًا واحدًا في كل سطر (مثل /admin/ أو /private/).
3. أضف استثناءات Allow، استثناءً في كل سطر، لإعادة السماح بمسارات فرعية داخل مجلد محجوب.
4. اضبط اختياريًا تأخير الزحف بالثواني والصق رابط خريطة موقعك الكامل.
5. فعّل مربعات زواحف الذكاء الاصطناعي (GPTBot وClaudeBot وCCBot وGoogle-Extended) لمنعها من كشط محتواك.
6. انسخ ملف robots.txt الناتج أو انقر تنزيل، ثم ضع الملف في جذر موقعك.

أمثلة

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

حجب GPTBot وClaudeBot وCCBot وGoogle-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

الأسئلة الشائعة

ماذا يفعل robots.txt فعليًا؟

هو ملف نصي عادي في جذر موقعك يخبر الزواحف الملتزمة بأي المسارات يجوز لها طلبها أو لا يجوز، عبر قواعد Allow وDisallow مجمّعة حسب User-agent. إنه طلب لا إلزام: الروبوتات حسنة السلوك مثل Googlebot تحترمه، لكنه لا يمنع وصول الأدوات التي تتجاهله، لذا لا تستخدمه أبدًا لإخفاء بيانات حساسة فعلًا.

كيف تعمل الإعدادات المسبقة لحجب زواحف الذكاء الاصطناعي؟

يُلحق كل مربع اختيار مجموعة مخصّصة مثل 'User-agent: GPTBot' متبوعة بـ 'Disallow: /'، تطلب من ذلك الزاحف ألا يجلب أي صفحة. GPTBot زاحف OpenAI، وClaudeBot زاحف Anthropic، وCCBot هو Common Crawl، وGoogle-Extended يتحكّم في استخدام محتواك لنماذج الذكاء الاصطناعي من Google. يضيف تفعيل المربع مجموعته، ويزيلها إلغاء التفعيل.

ما الفرق بين Allow وDisallow؟

يُدرج Disallow بادئات المسارات التي ينبغي ألا يطلبها الزاحف، بينما يعيد Allow السماح بمسار فرعي أكثر تحديدًا داخل مجلد محجوب. على سبيل المثال، Disallow: /files/ مع Allow: /files/public/ يحجب المجلد لكنه يُبقي المجلد الفرعي public قابلًا للزحف. أدخل مسارًا واحدًا في كل سطر داخل كل مربع.

أين أضع الملف الناتج؟

احفظه كملف باسم robots.txt حرفيًا وارفعه إلى جذر نطاقك ليكون متاحًا على https://yourdomain.com/robots.txt. لا تنظر الزواحف إلا هناك؛ ويُتجاهَل أي robots.txt داخل مجلد فرعي. استخدم زر التنزيل لحفظه مباشرة.

هل يُرسَل أي شيء أكتبه إلى خادم؟

لا. يُنشَأ ملف robots.txt بالكامل داخل متصفحك باستخدام JavaScript. لا تُرفَع مساراتك أو وكيل المستخدم أو رابط خريطة الموقع أو اختياراتك ولا تُخزَّن ولا تُرسَل، لذا من الآمن صياغة قواعد لمواقع خاصة أو قبل الإطلاق.