robots.txt 生成ツール

robots.txt 生成ツールとは？

robots.txt 生成ツールは、ウェブクローラーがサイトのルートで読み込み、何を取得してよいかを判断するための robots.txt ファイルを書く無料のブラウザ内ツールです。User-agent（既定は *）を設定し、Disallow に拒否パスを 1 行ずつ、Allow に例外を入力し、必要に応じて Crawl-delay と Sitemap URL を追加すると、ツールが正しいディレクティブに変換します。さらに、よく知られた AI 学習クローラー（GPTBot、ClaudeBot、CCBot、Google-Extended）をブロックするチェックボックスのプリセットを備え、それぞれに独立したグループを追加します。サイト運営者、SEO 担当者、開発者が、サイト公開時、管理画面やステージングのパスを検索エンジンから隠すとき、または AI によるスクレイピングを拒否するときに使います。結果をドメインのルートにある robots.txt という名前のファイルにコピーするか、ダウンロードボタンを使ってください。

robots.txt 生成ツールの使い方

1. ルールを適用するユーザーエージェントを入力するか、すべてのクローラー向けに * のままにします。
2. Disallow ボックスにブロックするパスを 1 行ずつ入力します（例: /admin/ や /private/）。
3. ブロックしたフォルダ内のサブパスを再び許可するため、Allow に例外を 1 行ずつ追加します。
4. 必要に応じてクロール遅延を秒単位で設定し、完全なサイトマップ URL を貼り付けます。
5. AI クローラーのチェックボックス（GPTBot、ClaudeBot、CCBot、Google-Extended）をオンにして、コンテンツのスクレイピングを防ぎます。
6. 生成された robots.txt をコピーするかダウンロードをクリックし、ファイルをサイトのルートに置きます。

使用例

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

GPTBot、ClaudeBot、CCBot、Google-Extended をブロック

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

よくある質問

robots.txt は実際に何をするのですか？

サイトのルートにあるプレーンテキストファイルで、User-agent ごとにまとめた Allow と Disallow のルールを使って、規約を守るクローラーにどのパスを要求してよいか・いけないかを伝えます。これは強制ではなく要請です。Googlebot のような行儀のよいボットは従いますが、無視するツールのアクセスは防げないため、本当に機密のデータを隠す目的では決して使わないでください。

AI クローラーのブロックプリセットはどう動きますか？

各チェックボックスは 'User-agent: GPTBot' に続けて 'Disallow: /' という専用グループを追加し、そのクローラーにページを取得しないよう求めます。GPTBot は OpenAI、ClaudeBot は Anthropic のクローラーで、CCBot は Common Crawl、Google-Extended は Google の AI モデルへのコンテンツ利用を制御します。チェックを入れるとそのグループが追加され、外すと削除されます。

Allow と Disallow の違いは何ですか？

Disallow はクローラーが要求すべきでないパスの接頭辞を列挙し、Allow はブロックしたフォルダ内のより具体的なサブパスを再び許可します。たとえば Disallow: /files/ と Allow: /files/public/ を組み合わせると、フォルダ全体をブロックしつつ public サブフォルダはクロール可能なまま保てます。各ボックスに 1 行 1 パスで入力します。

生成したファイルはどこに置きますか？

ファイル名をそのまま robots.txt として保存し、ドメインのルートにアップロードして https://yourdomain.com/robots.txt でアクセスできるようにします。クローラーはそこしか見ません。サブフォルダ内の robots.txt は無視されます。ダウンロードボタンで直接保存できます。

入力した内容はサーバーに送信されますか？

いいえ。robots.txt はすべてブラウザ内で JavaScript により生成されます。パス、ユーザーエージェント、サイトマップ URL、選択肢は一切アップロード・保存・送信されないため、非公開や公開前のサイトのルールを下書きしても安全です。