Gerador de robots.txt

O que é Gerador de robots.txt?

O Gerador de robots.txt é uma ferramenta gratuita que funciona no navegador e escreve o arquivo robots.txt que os rastreadores leem na raiz do seu site para decidir o que podem buscar. Você define o User-agent (padrão *), lista um caminho Disallow por linha e quaisquer exceções Allow, adiciona opcionalmente um Crawl-delay e uma URL de Sitemap, e a ferramenta converte tudo nas diretivas corretas. Ela também inclui uma predefinição com caixas de seleção que bloqueia rastreadores de treinamento de IA conhecidos — GPTBot, ClaudeBot, CCBot e Google-Extended — anexando um grupo separado para cada um. Donos de sites, especialistas em SEO e desenvolvedores a usam ao lançar um site, ocultar caminhos de administração ou de teste dos mecanismos de busca, ou recusar a coleta por IA. Copie o resultado para um arquivo chamado robots.txt na raiz do seu domínio, ou use o botão Baixar.

Como usar Gerador de robots.txt

1. Insira o user-agent ao qual as regras se aplicam, ou deixe como * para todos os rastreadores.
2. Digite os caminhos a bloquear na caixa Disallow, um por linha (por exemplo /admin/ ou /private/).
3. Adicione exceções Allow, uma por linha, para reautorizar subcaminhos dentro de uma pasta bloqueada.
4. Opcionalmente, defina um crawl-delay em segundos e cole a URL completa do seu sitemap.
5. Marque as caixas de rastreadores de IA (GPTBot, ClaudeBot, CCBot, Google-Extended) para impedir que coletem seu conteúdo.
6. Copie o robots.txt gerado ou clique em Baixar e, então, coloque o arquivo na raiz do seu site.

Exemplos

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Bloquear GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Perguntas frequentes

O que o robots.txt realmente faz?

É um arquivo de texto simples na raiz do seu site que informa aos rastreadores compatíveis quais caminhos eles podem ou não solicitar, usando regras Allow e Disallow agrupadas por User-agent. É um pedido, não uma imposição: bots bem-comportados como o Googlebot o respeitam, mas ele não bloqueia o acesso de ferramentas que o ignoram, então nunca o use para ocultar dados realmente sensíveis.

Como funcionam as predefinições de bloqueio de rastreadores de IA?

Cada caixa anexa um grupo dedicado, como 'User-agent: GPTBot' seguido de 'Disallow: /', que pede a esse rastreador que não busque nenhuma página. O GPTBot é o rastreador da OpenAI, o ClaudeBot é o da Anthropic, o CCBot é o Common Crawl, e o Google-Extended controla o uso do seu conteúdo para os modelos de IA do Google. Marcar uma caixa adiciona o grupo dela; desmarcar o remove.

Qual é a diferença entre Allow e Disallow?

Disallow lista prefixos de caminho que um rastreador não deve solicitar, enquanto Allow reautoriza um subcaminho mais específico dentro de uma pasta bloqueada. Por exemplo, Disallow: /files/ com Allow: /files/public/ bloqueia a pasta, mas mantém a subpasta public rastreável. Insira um caminho por linha em cada caixa.

Onde coloco o arquivo gerado?

Salve-o como um arquivo chamado literalmente robots.txt e envie-o para a raiz do seu domínio, de modo que fique acessível em https://yourdomain.com/robots.txt. Os rastreadores só olham ali; um robots.txt em uma subpasta é ignorado. Use o botão Baixar para salvá-lo diretamente.

Algo que eu digito é enviado a um servidor?

Não. O robots.txt é gerado inteiramente no seu navegador com JavaScript. Seus caminhos, user-agent, URL de sitemap e escolhas nunca são enviados, armazenados ou transmitidos, por isso é seguro redigir regras para sites privados ou pré-lançamento.