robots.txtジェネレーター
テンプレートから選択するか、GUIでルールを編集してrobots.txtを生成。指定URLのクロール許可テストも可能です。
ルール編集
ルール #1
Googlebot は Crawl-delay を無視します。Bingbot などで有効。
生成結果
User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
クロール許可テスト
URLパスを入力して、現在のルールでクロールが許可されるか確認します。
• robots.txt はサイトのルートディレクトリに配置します
• 例: https://example.com/robots.txt
• 変更後は Google Search Console の「robots.txt テスター」で検証することを推奨します
robots.txtとは
robots.txtは、検索エンジンのクローラー（Googlebot、Bingbotなど）に対して、 サイト内のどのページをクロールしてよいか・してはいけないかを指示するテキストファイルです。 サイトのルートディレクトリ（https://example.com/robots.txt）に配置します。
適切なrobots.txtの設定により、管理画面やAPIエンドポイントなど 公開する必要のないページのインデックスを防止し、クロールバジェットを重要なページに集中させることができます。
最近ではGPTBot（OpenAI）やCCBot（Common Crawl）など、AIクローラーのブロック設定も重要になっています。 このツールではこれらのUser-agentも簡単に設定できます。
robots.txtの書き方
robots.txtは以下のディレクティブで構成されます：
- User-agent: 対象のクローラーを指定（*は全クローラー）
- Disallow: クロールを拒否するパスを指定
- Allow: Disallowの例外として許可するパスを指定
- Sitemap: サイトマップのURLを指定
- Crawl-delay: クロール間隔を秒で指定（Googlebotは無視）
このツールの使い方
- テンプレート（WordPress / Next.js / 静的サイトなど）を選んで開始します
- ルールを追加・編集して、Allow/Disallowパスを設定します
- Sitemap URLを入力して、クローラーにサイトマップの場所を伝えます
- 「クロール許可テスト」でURLパスを入力し、ルールが意図通りか確認します
- 「コピー」ボタンで生成結果をコピーし、robots.txtファイルとして保存します
関連記事
よくある質問
- Q. robots.txtでGPTBotをブロックできますか？
- はい、User-agentに「GPTBot」を指定してDisallow: /を設定することで、OpenAIのクローラーによるサイトのクロールをブロックできます。同様にCCBot（Common Crawl）など他のAIクローラーも個別にブロック可能です。
- Q. robots.txtとnoindexの違いは何ですか？
- robots.txtはクローラーのアクセス自体を制御し、noindexメタタグはクロールは許可するがインデックスに登録しないことを指示します。robots.txtでブロックしたページにnoindexがあっても、クローラーがアクセスできないためnoindexは認識されません。
- Q. Googlebotはrobots.txtのCrawl-delayを尊重しますか？
- いいえ、GooglebotはCrawl-delayディレクティブを無視します。Googleのクロール速度を制御したい場合は、Google Search Consoleの「クロール頻度の設定」を使用してください。Bingbot等はCrawl-delayを尊重します。
関連ツール
開発者
Zeronova（ゼロノバ）
Product Manager / AI-Native Builder
19年以上のWeb/IT業界経験を持つPdMが、現場で本当に使えるツールを開発。登録不要・ブラウザだけで動作する無料ツールを93種類以上公開中。