Генератор robots.txt

Що таке Генератор robots.txt?

Генератор robots.txt — це безкоштовний браузерний інструмент, який пише файл robots.txt, що його веб-кролери зчитують у корені вашого сайту, щоб вирішити, що їм можна завантажувати. Ви задаєте User-agent (за замовчуванням *), перелічуєте по одному шляху Disallow у рядку та будь-які винятки Allow, за потреби додаєте Crawl-delay і URL Sitemap, а інструмент перетворює все це на коректні директиви. Він також містить пресет із прапорцями, що блокує відомих кролерів для навчання ШІ — GPTBot, ClaudeBot, CCBot та Google-Extended — додаючи окрему групу для кожного. Власники сайтів, SEO-фахівці та розробники використовують його під час запуску сайту, щоб приховати адміністративні чи тестові шляхи від пошукових систем або відмовитися від збору даних ШІ. Скопіюйте результат у файл з іменем robots.txt у корені вашого домену або скористайтеся кнопкою завантаження.

Як користуватися Генератор robots.txt

1. Введіть user-agent, до якого застосовуються правила, або залиште * для всіх кролерів.
2. Впишіть шляхи для блокування в поле Disallow, по одному в рядку (наприклад, /admin/ або /private/).
3. Додайте винятки Allow, по одному в рядку, щоб знову дозволити підшляхи всередині заблокованої папки.
4. За потреби задайте crawl-delay у секундах і вставте повний URL вашої карти сайту.
5. Позначте прапорці ШІ-кролерів (GPTBot, ClaudeBot, CCBot, Google-Extended), щоб заборонити їм збирати ваш контент.
6. Скопіюйте згенерований robots.txt або натисніть «Завантажити», потім розмістіть файл у корені вашого сайту.

Приклади

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Заблокувати GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Поширені запитання

Що насправді робить robots.txt?

Це звичайний текстовий файл у корені вашого сайту, який повідомляє кролерам, що дотримуються правил, які шляхи їм можна або не можна запитувати, за допомогою правил Allow і Disallow, згрупованих за User-agent. Це прохання, а не примус: виховані боти на кшталт Googlebot його дотримуються, але він не блокує доступ інструментам, які його ігнорують, тому ніколи не використовуйте його для приховування справді конфіденційних даних.

Як працюють пресети блокування ШІ-кролерів?

Кожен прапорець додає окрему групу, наприклад 'User-agent: GPTBot', за якою йде 'Disallow: /', що просить цього кролера не завантажувати жодної сторінки. GPTBot — кролер OpenAI, ClaudeBot — Anthropic, CCBot — Common Crawl, а Google-Extended керує використанням вашого контенту для ШІ-моделей Google. Встановлення прапорця додає його групу, зняття — видаляє.

У чому різниця між Allow і Disallow?

Disallow перелічує префікси шляхів, які кролер не повинен запитувати, а Allow знову дозволяє конкретніший підшлях усередині забороненої папки. Наприклад, Disallow: /files/ з Allow: /files/public/ блокує папку, але залишає підпапку public доступною для сканування. Уводьте по одному шляху в рядку в кожному полі.

Куди розмістити згенерований файл?

Збережіть його як файл з іменем саме robots.txt і завантажте в корінь вашого домену, щоб він був доступний за адресою https://yourdomain.com/robots.txt. Кролери дивляться лише туди; robots.txt у підпапці ігнорується. Скористайтеся кнопкою «Завантажити», щоб зберегти його напряму.

Чи надсилається щось із введеного мною на сервер?

Ні. robots.txt генерується повністю у вашому браузері за допомогою JavaScript. Ваші шляхи, user-agent, URL карти сайту та вибір ніколи не завантажуються, не зберігаються й не передаються, тож безпечно складати правила для приватних або ще не запущених сайтів.