Generator robots.txt

Czym jest Generator robots.txt?

Generator robots.txt to bezpłatne narzędzie działające w przeglądarce, które tworzy plik robots.txt odczytywany przez roboty sieciowe w katalogu głównym Twojej witryny w celu określenia, co mogą pobrać. Ustawiasz User-agent (domyślnie *), wymieniasz po jednej ścieżce Disallow w wierszu oraz ewentualne wyjątki Allow, opcjonalnie dodajesz Crawl-delay i adres URL Sitemap, a narzędzie przekształca to wszystko we właściwe dyrektywy. Zawiera również ustawienie z polami wyboru, które blokuje znane roboty trenujące AI — GPTBot, ClaudeBot, CCBot i Google-Extended — dołączając osobną grupę dla każdego z nich. Właściciele witryn, specjaliści SEO i deweloperzy używają go przy uruchamianiu witryny, do ukrywania ścieżek administracyjnych lub testowych przed wyszukiwarkami albo do rezygnacji ze scrapowania przez AI. Skopiuj wynik do pliku o nazwie robots.txt w katalogu głównym domeny lub użyj przycisku Pobierz.

Jak używać Generator robots.txt

1. Wpisz user-agent, którego dotyczą reguły, lub zostaw * dla wszystkich robotów.
2. Wpisz ścieżki do zablokowania w polu Disallow, po jednej w wierszu (na przykład /admin/ lub /private/).
3. Dodaj wyjątki Allow, po jednym w wierszu, aby ponownie zezwolić na podścieżki wewnątrz zablokowanego folderu.
4. Opcjonalnie ustaw crawl-delay w sekundach i wklej pełny adres URL swojej mapy witryny.
5. Zaznacz pola wyboru robotów AI (GPTBot, ClaudeBot, CCBot, Google-Extended), aby uniemożliwić im scrapowanie Twojej treści.
6. Skopiuj wygenerowany plik robots.txt lub kliknij Pobierz, a następnie umieść plik w katalogu głównym witryny.

Przykłady

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Zablokuj GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Najczęściej zadawane pytania

Co właściwie robi robots.txt?

To zwykły plik tekstowy w katalogu głównym witryny, który za pomocą reguł Allow i Disallow pogrupowanych według User-agent informuje zgodne roboty, których ścieżek mogą, a których nie mogą żądać. To prośba, a nie wymuszenie: dobrze wychowane boty, takie jak Googlebot, jej przestrzegają, ale nie blokuje ona dostępu narzędziom, które ją ignorują, więc nigdy nie używaj jej do ukrywania naprawdę wrażliwych danych.

Jak działają ustawienia blokowania robotów AI?

Każde pole wyboru dołącza dedykowaną grupę, taką jak 'User-agent: GPTBot' i następujące po niej 'Disallow: /', która prosi danego robota, aby nie pobierał żadnej strony. GPTBot to robot OpenAI, ClaudeBot należy do Anthropic, CCBot to Common Crawl, a Google-Extended kontroluje wykorzystanie Twojej treści w modelach AI Google. Zaznaczenie pola dodaje jego grupę; odznaczenie ją usuwa.

Jaka jest różnica między Allow a Disallow?

Disallow wymienia prefiksy ścieżek, których robot nie powinien żądać, podczas gdy Allow ponownie zezwala na bardziej konkretną podścieżkę wewnątrz zablokowanego folderu. Na przykład Disallow: /files/ z Allow: /files/public/ blokuje folder, ale pozostawia podfolder public dostępny dla robotów. W każdym polu wpisz po jednej ścieżce w wierszu.

Gdzie umieścić wygenerowany plik?

Zapisz go jako plik o nazwie dokładnie robots.txt i wgraj do katalogu głównego swojej domeny, aby był dostępny pod adresem https://yourdomain.com/robots.txt. Roboty szukają tylko tam; plik robots.txt w podfolderze jest ignorowany. Użyj przycisku Pobierz, aby zapisać go bezpośrednio.

Czy cokolwiek, co wpisuję, jest wysyłane na serwer?

Nie. Plik robots.txt jest generowany w całości w Twojej przeglądarce za pomocą JavaScript. Twoje ścieżki, user-agent, adres URL mapy witryny i wybory nigdy nie są przesyłane, przechowywane ani transmitowane, więc bezpiecznie jest tworzyć reguły dla witryn prywatnych lub przed premierą.