robots.txt জেনারেটর

robots.txt জেনারেটর কী?

robots.txt জেনারেটর একটি বিনামূল্যের ইন-ব্রাউজার টুল যা সেই robots.txt ফাইল লেখে যা ওয়েব ক্রলাররা আপনার সাইটের রুটে পড়ে সিদ্ধান্ত নেয় তারা কী আনতে পারবে। আপনি User-agent সেট করেন (ডিফল্ট *), প্রতি লাইনে একটি Disallow পাথ ও যেকোনো Allow ব্যতিক্রম তালিকাভুক্ত করেন, ঐচ্ছিকভাবে একটি Crawl-delay ও Sitemap URL যোগ করেন, এবং টুলটি এসবকে সঠিক নির্দেশনায় রূপান্তর করে। এতে একটি চেকবক্স প্রিসেটও আছে যা সুপরিচিত AI প্রশিক্ষণ ক্রলার — GPTBot, ClaudeBot, CCBot এবং Google-Extended — প্রত্যেকের জন্য একটি পৃথক গ্রুপ যোগ করে ব্লক করে। সাইট মালিক, SEO বিশেষজ্ঞ এবং ডেভেলপাররা সাইট চালু করার সময়, সার্চ ইঞ্জিন থেকে অ্যাডমিন বা স্টেজিং পাথ লুকাতে, অথবা AI স্ক্র্যাপিং থেকে অপ্ট আউট করতে এটি ব্যবহার করেন। ফলাফলটি আপনার ডোমেইনের রুটে robots.txt নামের একটি ফাইলে কপি করুন, অথবা ডাউনলোড বোতাম ব্যবহার করুন।

robots.txt জেনারেটর কীভাবে ব্যবহার করবেন

1. যে ইউজার-এজেন্টের ওপর নিয়মগুলো প্রযোজ্য তা লিখুন, অথবা সব ক্রলারের জন্য এটি * রাখুন।
2. ব্লক করার পাথগুলো Disallow বক্সে, প্রতি লাইনে একটি করে, টাইপ করুন (যেমন /admin/ বা /private/)।
3. কোনো অবরুদ্ধ ফোল্ডারের ভেতরের সাব-পাথ পুনরায় অনুমোদন করতে Allow ব্যতিক্রম, প্রতি লাইনে একটি করে, যোগ করুন।
4. ঐচ্ছিকভাবে সেকেন্ডে একটি ক্রল-ডিলে সেট করুন এবং আপনার সম্পূর্ণ সাইটম্যাপ URL পেস্ট করুন।
5. আপনার কনটেন্ট স্ক্র্যাপ হওয়া থেকে আটকাতে AI ক্রলার চেকবক্সগুলোতে (GPTBot, ClaudeBot, CCBot, Google-Extended) টিক দিন।
6. জেনারেট করা robots.txt কপি করুন বা ডাউনলোড ক্লিক করুন, তারপর ফাইলটি আপনার সাইটের রুটে রাখুন।

উদাহরণ

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

GPTBot, ClaudeBot, CCBot, Google-Extended ব্লক করুন

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

সচরাচর জিজ্ঞাসিত প্রশ্ন

robots.txt আসলে কী করে?

এটি আপনার সাইটের রুটে একটি প্লেইন-টেক্সট ফাইল যা User-agent অনুসারে গোষ্ঠীবদ্ধ Allow ও Disallow নিয়ম ব্যবহার করে নিয়ম-মান্যকারী ক্রলারদের জানায় তারা কোন পাথ অনুরোধ করতে পারে বা পারে না। এটি একটি অনুরোধ, প্রয়োগ নয়: Googlebot-এর মতো সুশৃঙ্খল বট এটি মেনে চলে, কিন্তু যেসব টুল এটি উপেক্ষা করে তাদের অ্যাক্সেস এটি আটকায় না, তাই সত্যিকারের সংবেদনশীল ডেটা লুকাতে এটি কখনো ব্যবহার করবেন না।

AI ক্রলার ব্লক প্রিসেটগুলো কীভাবে কাজ করে?

প্রতিটি চেকবক্স একটি ডেডিকেটেড গ্রুপ যোগ করে, যেমন 'User-agent: GPTBot' এর পরে 'Disallow: /', যা ওই ক্রলারকে কোনো পৃষ্ঠা না আনতে অনুরোধ করে। GPTBot হলো OpenAI-এর ক্রলার, ClaudeBot Anthropic-এর, CCBot হলো Common Crawl, এবং Google-Extended নিয়ন্ত্রণ করে আপনার কনটেন্ট Google-এর AI মডেলের জন্য ব্যবহার হবে কি না। একটি বক্সে টিক দিলে তার গ্রুপ যুক্ত হয়; টিক তুললে সরে যায়।

Allow ও Disallow-এর মধ্যে পার্থক্য কী?

Disallow সেইসব পাথ উপসর্গ তালিকাভুক্ত করে যা একটি ক্রলারের অনুরোধ করা উচিত নয়, আর Allow কোনো অবরুদ্ধ ফোল্ডারের ভেতর একটি আরও নির্দিষ্ট সাব-পাথ পুনরায় অনুমোদন করে। উদাহরণস্বরূপ, Disallow: /files/ সঙ্গে Allow: /files/public/ ফোল্ডারটি ব্লক করে কিন্তু public সাব-ফোল্ডার ক্রল-যোগ্য রাখে। প্রতিটি বক্সে প্রতি লাইনে একটি করে পাথ লিখুন।

জেনারেট করা ফাইলটি আমি কোথায় রাখব?

এটি আক্ষরিকভাবে robots.txt নামের একটি ফাইল হিসেবে সংরক্ষণ করুন এবং আপনার ডোমেইনের রুটে আপলোড করুন যাতে এটি https://yourdomain.com/robots.txt-এ পৌঁছানো যায়। ক্রলাররা কেবল সেখানেই দেখে; কোনো সাব-ফোল্ডারে রাখা robots.txt উপেক্ষা করা হয়। সরাসরি সংরক্ষণ করতে ডাউনলোড বোতাম ব্যবহার করুন।

আমি যা টাইপ করি তা কি কোনো সার্ভারে পাঠানো হয়?

না। robots.txt সম্পূর্ণরূপে আপনার ব্রাউজারে JavaScript দিয়ে জেনারেট হয়। আপনার পাথ, ইউজার-এজেন্ট, সাইটম্যাপ URL ও পছন্দগুলো কখনো আপলোড, সংরক্ষণ বা প্রেরণ করা হয় না, তাই ব্যক্তিগত বা চালুর-আগের সাইটের জন্য নিয়ম খসড়া করা নিরাপদ।