robots.txt-generator

Wat is robots.txt-generator?

De robots.txt-generator is een gratis tool in de browser die het robots.txt-bestand schrijft dat webcrawlers in de root van je site lezen om te bepalen wat ze mogen ophalen. Je stelt de User-agent in (standaard *), zet één Disallow-pad per regel en eventuele Allow-uitzonderingen, voegt optioneel een Crawl-delay en een Sitemap-URL toe, en de tool zet het allemaal om in de juiste richtlijnen. Het bevat ook een voorinstelling met selectievakjes die bekende AI-trainingscrawlers — GPTBot, ClaudeBot, CCBot en Google-Extended — blokkeert door voor elk een aparte groep toe te voegen. Site-eigenaren, SEO-specialisten en ontwikkelaars gebruiken het bij het lanceren van een site, om beheer- of staging-paden te verbergen voor zoekmachines, of om af te zien van AI-scraping. Kopieer het resultaat naar een bestand met de naam robots.txt in de root van je domein, of gebruik de knop Downloaden.

robots.txt-generator gebruiken

1. Voer de user-agent in waarop de regels van toepassing zijn, of laat het op * staan voor alle crawlers.
2. Typ de te blokkeren paden in het Disallow-vak, één per regel (bijvoorbeeld /admin/ of /private/).
3. Voeg Allow-uitzonderingen toe, één per regel, om subpaden binnen een geblokkeerde map weer toe te staan.
4. Stel optioneel een crawl-delay in seconden in en plak de volledige URL van je sitemap.
5. Vink de AI-crawler-selectievakjes aan (GPTBot, ClaudeBot, CCBot, Google-Extended) om te voorkomen dat ze je inhoud scrapen.
6. Kopieer de gegenereerde robots.txt of klik op Downloaden en plaats het bestand vervolgens in de root van je site.

Voorbeelden

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

GPTBot, ClaudeBot, CCBot, Google-Extended blokkeren

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Veelgestelde vragen

Wat doet robots.txt eigenlijk?

Het is een platte-tekstbestand in de root van je site dat compatibele crawlers met Allow- en Disallow-regels, gegroepeerd per User-agent, vertelt welke paden ze wel of niet mogen opvragen. Het is een verzoek, geen afdwinging: nette bots zoals Googlebot houden zich eraan, maar het blokkeert geen toegang voor tools die het negeren, dus gebruik het nooit om echt gevoelige gegevens te verbergen.

Hoe werken de voorinstellingen om AI-crawlers te blokkeren?

Elk selectievakje voegt een aparte groep toe, zoals 'User-agent: GPTBot' gevolgd door 'Disallow: /', die deze crawler vraagt geen enkele pagina op te halen. GPTBot is de crawler van OpenAI, ClaudeBot die van Anthropic, CCBot is Common Crawl, en Google-Extended bepaalt het gebruik van je inhoud voor de AI-modellen van Google. Een vakje aanvinken voegt de groep toe; uitvinken verwijdert die.

Wat is het verschil tussen Allow en Disallow?

Disallow somt padvoorvoegsels op die een crawler niet zou moeten opvragen, terwijl Allow een specifieker subpad binnen een geblokkeerde map weer toestaat. Bijvoorbeeld: Disallow: /files/ met Allow: /files/public/ blokkeert de map maar houdt de submap public crawlbaar. Voer in elk vak één pad per regel in.

Waar plaats ik het gegenereerde bestand?

Sla het op als een bestand met letterlijk de naam robots.txt en upload het naar de root van je domein, zodat het bereikbaar is op https://yourdomain.com/robots.txt. Crawlers kijken alleen daar; een robots.txt in een submap wordt genegeerd. Gebruik de knop Downloaden om het direct op te slaan.

Wordt iets van wat ik typ naar een server gestuurd?

Nee. De robots.txt wordt volledig in je browser met JavaScript gegenereerd. Je paden, user-agent, sitemap-URL en keuzes worden nooit geüpload, opgeslagen of verzonden, dus het is veilig om regels op te stellen voor privé- of pre-launch-sites.