robots.txt-Generator

Was ist robots.txt-Generator?

Der robots.txt-Generator ist ein kostenloses Tool im Browser, das die robots.txt-Datei schreibt, die Webcrawler im Wurzelverzeichnis deiner Website lesen, um zu entscheiden, was sie abrufen dürfen. Du legst den User-agent fest (Standard *), listest pro Zeile einen Disallow-Pfad und alle Allow-Ausnahmen auf, fügst optional ein Crawl-delay und eine Sitemap-URL hinzu, und das Tool wandelt alles in die korrekten Direktiven um. Es enthält außerdem eine Checkbox-Voreinstellung, die bekannte KI-Trainingscrawler – GPTBot, ClaudeBot, CCBot und Google-Extended – blockiert, indem für jeden eine eigene Gruppe angehängt wird. Website-Betreiber, SEO-Fachleute und Entwickler nutzen es beim Start einer Website, um Admin- oder Staging-Pfade vor Suchmaschinen zu verbergen oder sich vom KI-Scraping abzumelden. Kopiere das Ergebnis in eine Datei namens robots.txt im Wurzelverzeichnis deiner Domain oder nutze die Download-Schaltfläche.

So verwendest du robots.txt-Generator

1. Gib den User-Agent ein, für den die Regeln gelten, oder belasse es bei * für alle Crawler.
2. Trage die zu blockierenden Pfade im Disallow-Feld ein, einen pro Zeile (zum Beispiel /admin/ oder /private/).
3. Füge Allow-Ausnahmen hinzu, eine pro Zeile, um Unterpfade innerhalb eines blockierten Ordners wieder freizugeben.
4. Lege optional ein Crawl-Delay in Sekunden fest und füge deine vollständige Sitemap-URL ein.
5. Aktiviere die KI-Crawler-Checkboxen (GPTBot, ClaudeBot, CCBot, Google-Extended), um zu verhindern, dass sie deine Inhalte scrapen.
6. Kopiere die erzeugte robots.txt oder klicke auf Herunterladen und lege die Datei dann im Wurzelverzeichnis deiner Website ab.

Beispiele

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

GPTBot, ClaudeBot, CCBot, Google-Extended blockieren

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Häufig gestellte Fragen

Was bewirkt robots.txt eigentlich?

Es ist eine reine Textdatei im Wurzelverzeichnis deiner Website, die kompatiblen Crawlern über nach User-agent gruppierte Allow- und Disallow-Regeln mitteilt, welche Pfade sie anfordern dürfen und welche nicht. Es ist eine Bitte, keine Durchsetzung: Wohlerzogene Bots wie der Googlebot halten sich daran, aber es blockiert keinen Zugriff für Tools, die es ignorieren – verwende es also niemals, um wirklich sensible Daten zu verbergen.

Wie funktionieren die Voreinstellungen zum Blockieren von KI-Crawlern?

Jede Checkbox hängt eine eigene Gruppe an, etwa 'User-agent: GPTBot' gefolgt von 'Disallow: /', die diesen Crawler bittet, keine Seite abzurufen. GPTBot ist der Crawler von OpenAI, ClaudeBot der von Anthropic, CCBot ist Common Crawl, und Google-Extended steuert die Nutzung deiner Inhalte für die KI-Modelle von Google. Das Aktivieren einer Box fügt ihre Gruppe hinzu, das Deaktivieren entfernt sie.

Was ist der Unterschied zwischen Allow und Disallow?

Disallow listet Pfadpräfixe auf, die ein Crawler nicht anfordern sollte, während Allow einen spezifischeren Unterpfad innerhalb eines gesperrten Ordners wieder freigibt. Disallow: /files/ mit Allow: /files/public/ blockiert beispielsweise den Ordner, hält aber den Unterordner public crawlbar. Trage in jedem Feld einen Pfad pro Zeile ein.

Wohin lege ich die erzeugte Datei?

Speichere sie als Datei mit genau dem Namen robots.txt und lade sie in das Wurzelverzeichnis deiner Domain hoch, sodass sie unter https://yourdomain.com/robots.txt erreichbar ist. Crawler schauen nur dort nach; eine robots.txt in einem Unterordner wird ignoriert. Nutze die Schaltfläche Herunterladen, um sie direkt zu speichern.

Wird etwas von dem, was ich eingebe, an einen Server gesendet?

Nein. Die robots.txt wird vollständig in deinem Browser mit JavaScript erzeugt. Deine Pfade, der User-Agent, die Sitemap-URL und deine Auswahl werden niemals hochgeladen, gespeichert oder übertragen, sodass du Regeln für private oder noch nicht veröffentlichte Websites bedenkenlos entwerfen kannst.