サイト設定チェッカー
URLを入力するだけでドメインのrobots.txtとsitemap.xmlの設定を検証し、問題点を一覧表示します。
URLを入力するとドメインのrobots.txtとsitemap.xmlの設定を検証します
URLを入力してサイト設定をチェックしましょう
robots.txtとsitemap.xmlの設定を自動検証します
robots.txtとsitemap.xmlの重要性
robots.txtとsitemap.xmlは、検索エンジンのクローラーにサイトの構造を正しく伝えるための基本的な設定ファイルです。 適切に設定されていないと、重要なページがインデックスされなかったり、不要なページがクロールされてクロールバジェットを無駄にする可能性があります。
特にサイトの規模が大きくなるほど、これらの設定がSEOに与える影響は大きくなります。 定期的にチェックして問題がないか確認することを推奨します。
robots.txtとは
robots.txtはWebサイトのルートディレクトリに配置するテキストファイルで、検索エンジンのクローラーに対して クロールの許可・禁止を指示します。主なディレクティブは以下の通りです。
- User-agent: 対象となるクローラーを指定（
*は全クローラー） - Disallow: クロールを禁止するパスを指定
- Allow: Disallow内の例外としてクロールを許可するパスを指定
- Sitemap: サイトマップのURLを指定（クローラーへの通知）
sitemap.xmlとは
sitemap.xmlはサイト内のページ一覧をXML形式でまとめたファイルです。 検索エンジンが効率的にページを発見・クロールするために使用されます。
- サイトマップ: 個別のURLを
<url>タグで記述 - サイトマップインデックス: 複数のサイトマップをまとめたファイル（大規模サイト向け）
- 各URLにはpriority（優先度）、changefreq（更新頻度）、lastmod（最終更新日）を指定可能
よくある問題と対処法
| 問題 | 影響 | 対処法 |
|---|---|---|
| robots.txtが存在しない | クローラーが全ページをクロール（意図しないページも含む） | ルートディレクトリにrobots.txtを設置 |
| Sitemapディレクティブがない | クローラーがサイトマップを自動検出できない可能性 | robots.txtにSitemap行を追加 |
| sitemap.xmlが存在しない | 新規ページのインデックスが遅れる | サイトマップXMLを生成・設置 |
| sitemap内のURL数が0 | サイトマップが機能していない | URLを正しくサイトマップに含める |
活用シーン
- サイト公開前の最終確認: robots.txtとsitemap.xmlが正しく設置されているか、公開前にチェックする
- SEO監査: インデックス状況を改善するため、クローラビリティの設定を定期的に検証する
- サーバー移行・ドメイン変更時: 移行後にrobots.txtやsitemap.xmlが正しく引き継がれているか確認する
- インデックスされない原因の調査: ページが検索結果に表示されない場合、robots.txtでブロックされていないか確認する
- Web制作の納品時: クライアントへの納品前にSEO基本設定の実施状況をレポートとして提示する
このツールの使い方
- チェックしたいWebサイトのURLを入力して「チェック」ボタンを押します
- ドメインのrobots.txtとsitemap.xmlが自動的に取得・検証されます
- robots.txtのルール数・Sitemapディレクティブの有無、sitemap.xmlのURL数・XML構造がチェックされます
- 未設定のファイルがある場合は、関連ツール（robots.txtジェネレーター・サイトマップXMLジェネレーター）へのリンクが表示されます
ツールの仕様・制限事項
- 入力されたURLからドメインを抽出し、
/robots.txtと/sitemap.xmlを検査します - robots.txt内にSitemapディレクティブがある場合、そのURLを優先してチェックします
- サイトマップの読み取りは最大512KBまでに制限されています
- 全体のタイムアウトは15秒です
- 入力されたURLの情報はサーバーに保存されません
関連記事
よくある質問
- Q. robots.txtがないとSEOに影響しますか？
- robots.txtがない場合、検索エンジンはすべてのページをクロール対象とします。小規模サイトでは問題になりにくいですが、管理画面やテストページなどインデックスさせたくないページがある場合は設置が必要です。また、Sitemapディレクティブで検索エンジンにサイトマップの場所を伝えられるため、SEOの基本設定として設置を推奨します。
- Q. sitemap.xmlは必ず必要ですか？
- 小規模サイト（数十ページ以下）でリンク構造が適切であればクローラーは自力で全ページを発見できますが、サイトマップを設置することで新規ページのインデックス速度が向上します。100ページ以上のサイト、動的に生成されるページが多いサイト、内部リンクが少ないサイトでは特に重要です。Google Search Consoleからも送信できます。
- Q. サイトマップインデックスとサイトマップの違いは何ですか？
- サイトマップ（urlset）は個別のURLを最大50,000件まで記述できるXMLファイルです。サイトマップインデックス（sitemapindex）は複数のサイトマップファイルをまとめた索引ファイルで、大規模サイトでURL数が50,000件を超える場合や、カテゴリ別にサイトマップを分割したい場合に使用します。
関連ツール
開発者
Zeronova（ゼロノバ）
Product Manager / AI-Native Builder
19年以上のWeb/IT業界経験を持つPdMが、現場で本当に使えるツールを開発。登録不要・ブラウザだけで動作する無料ツールを93種類以上公開中。