Генератор robots.txt

Что такое Генератор robots.txt?

Генератор robots.txt — это бесплатный браузерный инструмент, который пишет файл robots.txt, считываемый веб-краулерами в корне вашего сайта для решения, что им можно загружать. Вы задаёте User-agent (по умолчанию *), перечисляете по одному пути Disallow в строке и любые исключения Allow, при необходимости добавляете Crawl-delay и URL Sitemap, а инструмент превращает всё это в корректные директивы. Он также включает пресет с флажками, который блокирует известных краулеров для обучения ИИ — GPTBot, ClaudeBot, CCBot и Google-Extended — добавляя отдельную группу для каждого. Владельцы сайтов, SEO-специалисты и разработчики используют его при запуске сайта, чтобы скрыть административные или тестовые пути от поисковых систем или отказаться от сбора данных ИИ. Скопируйте результат в файл с именем robots.txt в корне вашего домена или воспользуйтесь кнопкой загрузки.

Как пользоваться Генератор robots.txt

1. Введите user-agent, к которому применяются правила, или оставьте * для всех краулеров.
2. Впишите пути для блокировки в поле Disallow, по одному в строке (например, /admin/ или /private/).
3. Добавьте исключения Allow, по одному в строке, чтобы снова разрешить подпути внутри заблокированной папки.
4. При необходимости задайте crawl-delay в секундах и вставьте полный URL вашей карты сайта.
5. Отметьте флажки ИИ-краулеров (GPTBot, ClaudeBot, CCBot, Google-Extended), чтобы запретить им собирать ваш контент.
6. Скопируйте сгенерированный robots.txt или нажмите «Скачать», затем разместите файл в корне вашего сайта.

Примеры

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Заблокировать GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Часто задаваемые вопросы

Что на самом деле делает robots.txt?

Это обычный текстовый файл в корне вашего сайта, который сообщает соблюдающим правила краулерам, какие пути им можно или нельзя запрашивать, с помощью правил Allow и Disallow, сгруппированных по User-agent. Это просьба, а не принуждение: воспитанные боты вроде Googlebot его соблюдают, но он не блокирует доступ инструментам, которые его игнорируют, поэтому никогда не используйте его для сокрытия действительно конфиденциальных данных.

Как работают пресеты блокировки ИИ-краулеров?

Каждый флажок добавляет отдельную группу, например 'User-agent: GPTBot', за которой следует 'Disallow: /', что просит этого краулера не загружать ни одной страницы. GPTBot — краулер OpenAI, ClaudeBot — Anthropic, CCBot — Common Crawl, а Google-Extended управляет использованием вашего контента для ИИ-моделей Google. Установка флажка добавляет его группу, снятие — удаляет.

В чём разница между Allow и Disallow?

Disallow перечисляет префиксы путей, которые краулер не должен запрашивать, а Allow снова разрешает более конкретный подпуть внутри запрещённой папки. Например, Disallow: /files/ с Allow: /files/public/ блокирует папку, но оставляет подпапку public доступной для сканирования. Вводите по одному пути в строке в каждом поле.

Куда поместить сгенерированный файл?

Сохраните его как файл с именем именно robots.txt и загрузите в корень вашего домена, чтобы он был доступен по адресу https://yourdomain.com/robots.txt. Краулеры смотрят только там; robots.txt в подпапке игнорируется. Используйте кнопку «Скачать», чтобы сохранить его напрямую.

Отправляется ли что-либо из введённого мной на сервер?

Нет. robots.txt генерируется полностью в вашем браузере с помощью JavaScript. Ваши пути, user-agent, URL карты сайта и выбор никогда не загружаются, не сохраняются и не передаются, поэтому безопасно составлять правила для приватных или ещё не запущенных сайтов.