Generador de robots.txt

¿Qué es Generador de robots.txt?

El Generador de robots.txt es una herramienta gratuita que funciona en el navegador y escribe el archivo robots.txt que los rastreadores leen en la raíz de tu sitio para decidir qué pueden obtener. Defines el User-agent (por defecto *), enumeras una ruta Disallow por línea y las excepciones Allow, añades opcionalmente un Crawl-delay y una URL de Sitemap, y la herramienta lo convierte todo en las directivas correctas. También incluye un ajuste con casillas que bloquea rastreadores de IA conocidos —GPTBot, ClaudeBot, CCBot y Google-Extended— añadiendo un grupo independiente para cada uno. Propietarios de sitios, especialistas en SEO y desarrolladores lo usan al lanzar un sitio, ocultar rutas de administración o de pruebas a los buscadores, o renunciar al rastreo por IA. Copia el resultado en un archivo llamado robots.txt en la raíz de tu dominio, o usa el botón de descarga.

Cómo usar Generador de robots.txt

1. Introduce el user-agent al que se aplican las reglas, o déjalo como * para todos los rastreadores.
2. Escribe las rutas a bloquear en el cuadro Disallow, una por línea (por ejemplo /admin/ o /private/).
3. Añade las excepciones Allow, una por línea, para volver a permitir subrutas dentro de una carpeta bloqueada.
4. Opcionalmente define un crawl-delay en segundos y pega la URL completa de tu sitemap.
5. Marca las casillas de rastreadores de IA (GPTBot, ClaudeBot, CCBot, Google-Extended) para impedir que extraigan tu contenido.
6. Copia el robots.txt generado o pulsa Descargar y coloca el archivo en la raíz de tu sitio.

Ejemplos

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Bloquear GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Preguntas frecuentes

¿Qué hace realmente robots.txt?

Es un archivo de texto plano en la raíz de tu sitio que indica a los rastreadores que lo respetan qué rutas pueden o no pueden solicitar, mediante reglas Allow y Disallow agrupadas por User-agent. Es una petición, no una imposición: bots correctos como Googlebot lo respetan, pero no bloquea el acceso de herramientas que lo ignoran, así que nunca lo uses para ocultar datos realmente sensibles.

¿Cómo funcionan los ajustes para bloquear rastreadores de IA?

Cada casilla añade un grupo dedicado como 'User-agent: GPTBot' seguido de 'Disallow: /', que pide a ese rastreador que no obtenga ninguna página. GPTBot es el rastreador de OpenAI, ClaudeBot el de Anthropic, CCBot es Common Crawl, y Google-Extended controla el uso de tu contenido para los modelos de IA de Google. Marcar una casilla añade su grupo; desmarcarla lo elimina.

¿Cuál es la diferencia entre Allow y Disallow?

Disallow enumera prefijos de ruta que un rastreador no debería solicitar, mientras que Allow vuelve a permitir una subruta más específica dentro de una carpeta bloqueada. Por ejemplo, Disallow: /files/ con Allow: /files/public/ bloquea la carpeta pero mantiene rastreable la subcarpeta public. Introduce una ruta por línea en cada cuadro.

¿Dónde coloco el archivo generado?

Guárdalo como un archivo llamado literalmente robots.txt y súbelo a la raíz de tu dominio para que sea accesible en https://tudominio.com/robots.txt. Los rastreadores solo miran ahí; un robots.txt en una subcarpeta se ignora. Usa el botón Descargar para guardarlo directamente.

¿Se envía algo de lo que escribo a un servidor?

No. El robots.txt se genera por completo en tu navegador con JavaScript. Tus rutas, user-agent, URL de sitemap y opciones nunca se suben, almacenan ni transmiten, así que es seguro redactar reglas para sitios privados o previos al lanzamiento.