Générateur de robots.txt

Qu'est-ce que Générateur de robots.txt ?

Le Générateur de robots.txt est un outil gratuit fonctionnant dans le navigateur qui écrit le fichier robots.txt que les robots d'exploration lisent à la racine de votre site pour décider de ce qu'ils peuvent récupérer. Vous définissez le User-agent (par défaut *), listez un chemin Disallow par ligne ainsi que les exceptions Allow, ajoutez éventuellement un Crawl-delay et une URL de Sitemap, et l'outil transforme le tout en directives correctes. Il inclut aussi un préréglage à cases à cocher qui bloque les robots d'entraînement d'IA bien connus — GPTBot, ClaudeBot, CCBot et Google-Extended — en ajoutant un groupe distinct pour chacun. Propriétaires de sites, spécialistes SEO et développeurs l'utilisent lors du lancement d'un site, pour masquer des chemins d'administration ou de préproduction aux moteurs de recherche, ou pour refuser le scraping par l'IA. Copiez le résultat dans un fichier nommé robots.txt à la racine de votre domaine, ou utilisez le bouton Télécharger.

Comment utiliser Générateur de robots.txt

1. Saisissez le user-agent auquel s'appliquent les règles, ou laissez * pour tous les robots.
2. Tapez les chemins à bloquer dans le champ Disallow, un par ligne (par exemple /admin/ ou /private/).
3. Ajoutez les exceptions Allow, une par ligne, pour réautoriser des sous-chemins à l'intérieur d'un dossier bloqué.
4. Définissez éventuellement un crawl-delay en secondes et collez l'URL complète de votre sitemap.
5. Cochez les cases des robots d'IA (GPTBot, ClaudeBot, CCBot, Google-Extended) pour les empêcher de scraper votre contenu.
6. Copiez le robots.txt généré ou cliquez sur Télécharger, puis placez le fichier à la racine de votre site.

Exemples

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Bloquer GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Questions fréquentes

Que fait réellement robots.txt ?

C'est un fichier en texte brut à la racine de votre site qui indique aux robots respectueux quels chemins ils peuvent ou non demander, à l'aide de règles Allow et Disallow groupées par User-agent. C'est une requête, pas une contrainte : les robots bien élevés comme Googlebot le respectent, mais il ne bloque pas l'accès des outils qui l'ignorent, ne l'utilisez donc jamais pour masquer des données vraiment sensibles.

Comment fonctionnent les préréglages de blocage des robots d'IA ?

Chaque case ajoute un groupe dédié, par exemple 'User-agent: GPTBot' suivi de 'Disallow: /', qui demande à ce robot de ne récupérer aucune page. GPTBot est le robot d'OpenAI, ClaudeBot celui d'Anthropic, CCBot est Common Crawl, et Google-Extended contrôle l'utilisation de votre contenu pour les modèles d'IA de Google. Cocher une case ajoute son groupe ; la décocher le supprime.

Quelle est la différence entre Allow et Disallow ?

Disallow liste les préfixes de chemin qu'un robot ne devrait pas demander, tandis qu'Allow réautorise un sous-chemin plus précis à l'intérieur d'un dossier interdit. Par exemple, Disallow: /files/ avec Allow: /files/public/ bloque le dossier mais garde le sous-dossier public explorable. Saisissez un chemin par ligne dans chaque champ.

Où placer le fichier généré ?

Enregistrez-le sous un fichier nommé littéralement robots.txt et téléversez-le à la racine de votre domaine pour qu'il soit accessible à https://yourdomain.com/robots.txt. Les robots ne regardent que là ; un robots.txt dans un sous-dossier est ignoré. Utilisez le bouton Télécharger pour l'enregistrer directement.

Ce que je saisis est-il envoyé à un serveur ?

Non. Le robots.txt est généré entièrement dans votre navigateur avec JavaScript. Vos chemins, votre user-agent, l'URL de votre sitemap et vos choix ne sont jamais téléversés, stockés ni transmis, ce qui permet de rédiger en toute sécurité des règles pour des sites privés ou en préparation.