robots.txt जनरेटर

robots.txt जनरेटर क्या है?

robots.txt जनरेटर एक मुफ़्त इन-ब्राउज़र टूल है जो वह robots.txt फ़ाइल लिखता है जिसे वेब क्रॉलर आपकी साइट की रूट पर पढ़कर यह तय करते हैं कि वे क्या ला सकते हैं। आप User-agent सेट करते हैं (डिफ़ॉल्ट *), प्रति पंक्ति एक Disallow पथ और कोई भी Allow अपवाद सूचीबद्ध करते हैं, वैकल्पिक रूप से Crawl-delay और Sitemap URL जोड़ते हैं, और टूल इन सबको सही निर्देशों में बदल देता है। इसमें एक चेकबॉक्स प्रीसेट भी है जो प्रसिद्ध AI ट्रेनिंग क्रॉलर — GPTBot, ClaudeBot, CCBot और Google-Extended — को प्रत्येक के लिए एक अलग समूह जोड़कर ब्लॉक करता है। साइट मालिक, SEO विशेषज्ञ और डेवलपर इसका उपयोग साइट लॉन्च करते समय, सर्च इंजन से एडमिन या स्टेजिंग पथ छिपाने, या AI स्क्रैपिंग से ऑप्ट आउट करने के लिए करते हैं। परिणाम को अपने डोमेन की रूट पर robots.txt नाम की फ़ाइल में कॉपी करें, या डाउनलोड बटन का उपयोग करें।

robots.txt जनरेटर का उपयोग कैसे करें

1. जिस यूज़र-एजेंट पर नियम लागू होते हैं उसे दर्ज करें, या सभी क्रॉलर के लिए इसे * रहने दें।
2. ब्लॉक करने वाले पथ Disallow बॉक्स में, प्रति पंक्ति एक, टाइप करें (उदाहरण /admin/ या /private/)।
3. किसी ब्लॉक किए गए फ़ोल्डर के भीतर उप-पथों को फिर से अनुमति देने के लिए Allow अपवाद, प्रति पंक्ति एक, जोड़ें।
4. वैकल्पिक रूप से क्रॉल-डिले सेकंड में सेट करें और अपना पूरा साइटमैप URL पेस्ट करें।
5. अपनी सामग्री को स्क्रैप होने से रोकने के लिए AI क्रॉलर चेकबॉक्स (GPTBot, ClaudeBot, CCBot, Google-Extended) पर टिक करें।
6. जेनरेट किया गया robots.txt कॉपी करें या डाउनलोड पर क्लिक करें, फिर फ़ाइल को अपनी साइट की रूट पर रखें।

उदाहरण

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

GPTBot, ClaudeBot, CCBot, Google-Extended ब्लॉक करें

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

अक्सर पूछे जाने वाले सवाल

robots.txt असल में क्या करता है?

यह आपकी साइट की रूट पर एक सादा-टेक्स्ट फ़ाइल है जो User-agent के अनुसार समूहीकृत Allow और Disallow नियमों का उपयोग करके अनुपालन करने वाले क्रॉलर को बताती है कि वे किन पथों का अनुरोध कर सकते हैं या नहीं। यह एक अनुरोध है, प्रवर्तन नहीं: Googlebot जैसे सुव्यवहारी बॉट इसका सम्मान करते हैं, लेकिन यह उन टूल की पहुँच नहीं रोकता जो इसे अनदेखा करते हैं, इसलिए वास्तव में संवेदनशील डेटा छिपाने के लिए इसका कभी उपयोग न करें।

AI क्रॉलर ब्लॉक प्रीसेट कैसे काम करते हैं?

प्रत्येक चेकबॉक्स एक समर्पित समूह जोड़ता है जैसे 'User-agent: GPTBot' के बाद 'Disallow: /', जो उस क्रॉलर से किसी भी पृष्ठ को न लाने का अनुरोध करता है। GPTBot OpenAI का क्रॉलर है, ClaudeBot Anthropic का, CCBot Common Crawl है, और Google-Extended यह नियंत्रित करता है कि आपकी सामग्री Google के AI मॉडलों के लिए उपयोग हो या नहीं। बॉक्स पर टिक करने से उसका समूह जुड़ता है; टिक हटाने से हट जाता है।

Allow और Disallow में क्या अंतर है?

Disallow उन पथ उपसर्गों को सूचीबद्ध करता है जिनका क्रॉलर को अनुरोध नहीं करना चाहिए, जबकि Allow किसी अवरुद्ध फ़ोल्डर के भीतर एक अधिक विशिष्ट उप-पथ को फिर से अनुमति देता है। उदाहरण के लिए, Disallow: /files/ के साथ Allow: /files/public/ फ़ोल्डर को ब्लॉक करता है लेकिन public उप-फ़ोल्डर को क्रॉल योग्य रखता है। प्रत्येक बॉक्स में प्रति पंक्ति एक पथ दर्ज करें।

जेनरेट की गई फ़ाइल मैं कहाँ रखूँ?

इसे अक्षरशः robots.txt नाम की फ़ाइल के रूप में सहेजें और अपने डोमेन की रूट पर अपलोड करें ताकि यह https://yourdomain.com/robots.txt पर पहुँच योग्य हो। क्रॉलर केवल वहीं देखते हैं; किसी उप-फ़ोल्डर में रखा robots.txt अनदेखा कर दिया जाता है। इसे सीधे सहेजने के लिए डाउनलोड बटन का उपयोग करें।

क्या मैं जो टाइप करता हूँ वह किसी सर्वर पर भेजा जाता है?

नहीं। robots.txt पूरी तरह आपके ब्राउज़र में JavaScript से जेनरेट होता है। आपके पथ, यूज़र-एजेंट, साइटमैप URL और विकल्प कभी अपलोड, संग्रहीत या प्रेषित नहीं किए जाते, इसलिए निजी या लॉन्च-पूर्व साइटों के लिए नियम तैयार करना सुरक्षित है।