Generator robots.txt

Apa itu Generator robots.txt?

Generator robots.txt adalah alat gratis di dalam browser yang menulis file robots.txt yang dibaca crawler web di akar situs Anda untuk menentukan apa yang boleh mereka ambil. Anda mengatur User-agent (bawaan *), mencantumkan satu jalur Disallow per baris dan pengecualian Allow apa pun, secara opsional menambahkan Crawl-delay dan URL Sitemap, lalu alat ini mengubah semuanya menjadi direktif yang benar. Alat ini juga menyertakan praatur kotak centang yang memblokir crawler pelatihan AI ternama — GPTBot, ClaudeBot, CCBot, dan Google-Extended — dengan menambahkan grup terpisah untuk masing-masing. Pemilik situs, spesialis SEO, dan pengembang menggunakannya saat meluncurkan situs, menyembunyikan jalur admin atau staging dari mesin pencari, atau menolak pengikisan oleh AI. Salin hasilnya ke file bernama robots.txt di akar domain Anda, atau gunakan tombol Unduh.

Cara menggunakan Generator robots.txt

1. Masukkan user-agent yang menjadi target aturan, atau biarkan sebagai * untuk semua crawler.
2. Ketik jalur yang akan diblokir di kotak Disallow, satu per baris (misalnya /admin/ atau /private/).
3. Tambahkan pengecualian Allow, satu per baris, untuk kembali mengizinkan subjalur di dalam folder yang diblokir.
4. Secara opsional atur crawl-delay dalam detik dan tempel URL lengkap sitemap Anda.
5. Centang kotak crawler AI (GPTBot, ClaudeBot, CCBot, Google-Extended) untuk mencegah mereka mengikis konten Anda.
6. Salin robots.txt yang dihasilkan atau klik Unduh, lalu letakkan file di akar situs Anda.

Contoh

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Blokir GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Pertanyaan yang sering diajukan

Apa sebenarnya yang dilakukan robots.txt?

Ini adalah file teks biasa di akar situs Anda yang memberi tahu crawler patuh jalur mana yang boleh atau tidak boleh mereka minta, menggunakan aturan Allow dan Disallow yang dikelompokkan per User-agent. Ini adalah permintaan, bukan paksaan: bot yang berperilaku baik seperti Googlebot menghormatinya, tetapi tidak memblokir akses bagi alat yang mengabaikannya, jadi jangan pernah menggunakannya untuk menyembunyikan data yang benar-benar sensitif.

Bagaimana cara kerja praatur pemblokiran crawler AI?

Setiap kotak centang menambahkan grup khusus seperti 'User-agent: GPTBot' diikuti 'Disallow: /', yang meminta crawler tersebut untuk tidak mengambil halaman apa pun. GPTBot adalah crawler OpenAI, ClaudeBot milik Anthropic, CCBot adalah Common Crawl, dan Google-Extended mengontrol penggunaan konten Anda untuk model AI Google. Mencentang kotak menambahkan grupnya; menghapus centang menghapusnya.

Apa perbedaan antara Allow dan Disallow?

Disallow mencantumkan awalan jalur yang tidak boleh diminta crawler, sedangkan Allow kembali mengizinkan subjalur yang lebih spesifik di dalam folder yang diblokir. Misalnya, Disallow: /files/ dengan Allow: /files/public/ memblokir folder tersebut tetapi menjaga subfolder public tetap dapat dirayapi. Masukkan satu jalur per baris di setiap kotak.

Di mana saya meletakkan file yang dihasilkan?

Simpan sebagai file yang persis bernama robots.txt dan unggah ke akar domain Anda agar dapat diakses di https://yourdomain.com/robots.txt. Crawler hanya melihat di sana; robots.txt di subfolder akan diabaikan. Gunakan tombol Unduh untuk menyimpannya langsung.

Apakah ada yang saya ketik dikirim ke server?

Tidak. robots.txt dihasilkan sepenuhnya di browser Anda dengan JavaScript. Jalur, user-agent, URL sitemap, dan pilihan Anda tidak pernah diunggah, disimpan, atau dikirim, sehingga aman untuk menyusun aturan bagi situs privat atau pra-peluncuran.