1. HOME
  2. ブログ
  3. SEO
  4. クロール最適化とrobots.txt・XMLサイトマップの作り方

BLOG

ブログ

SEO

クロール最適化とrobots.txt・XMLサイトマップの作り方

クロール最適化ってなに？

クロール最適化とは、Googleなどの検索エンジンがサイトを効率よく巡回（クロール）できるように調整することを指します。
正しく設計されたrobots.txtやXMLサイトマップを活用することで、不要なページのインデックスを防ぎ、重要なページを確実に検索エンジンに届けることが可能になります。

クローラーもリソースに限界があるから、優先順位をつけてあげるのが大事だよ

クロール最適化が必要な理由

  • 重要なページがクローラーに見落とされるのを防ぐ
  • 重複コンテンツや無駄なページのインデックスを制限できる
  • クローラビリティ（巡回しやすさ）を向上させて評価UP
特に大規模サイトやECサイト、ブログを頻繁に更新するサイトでは、クロール効率が検索順位に大きく影響することもあるんだ。

robots.txtの基本構成と使い方

robots.txtの基本構成と書き方を簡単に説明します。

robots.txtとは？

robots.txtは、検索エンジンのクローラーに対して「このページは見ていいよ」「ここはダメだよ」と指示を出すテキストファイルです。
ドメイン直下（例：https://example.com/robots.txt）に設置されます。

robots.txtの基本的な書き方

 

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
  • User-agent: 対象のクローラー（* は全てのクローラー）
  • Disallow: クロールを禁止するパス
  • Allow: 明示的に許可するパス
  • Sitemap: サイトマップの場所を通知
間違って「全部Disallow」すると全ページ除外されちゃうから要注意！

よくあるrobots.txtの例

1. WordPressサイト向け

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

2. ECサイト向け

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Sitemap: https://example.com/sitemap.xml

XMLサイトマップとは？

XMLサイトマップは、サイト内の「インデックスしてほしいURL」をまとめたファイルで、検索エンジンに効率よくページを伝える役割があります。

地図みたいなもので、「ここを見て！」って案内する感じだね

XMLサイトマップに含めるべき情報

  • 更新頻度（changefreq）
  • 最終更新日（lastmod）
  • 優先度（priority）

XMLサイトマップの例

 

 
   https://example.com/
   2025-07-25
   weekly
   1.0
 
 
   https://example.com/about
   2025-07-10
   monthly
   0.8

XMLサイトマップの作成方法まとめ

WordPressを使っているなら、プラグインを使えば自動でサイトマップを作成できます。
コードの知識がなくてもOKだから、初心者にもおすすめです。

WordPress向けおすすめプラグイン

  • Google XML Sitemaps
  • Yoast SEO
  • All in One SEO Pack

一方、HTMLサイトや独自構築サイトなど、手動で作成したい場合は、以下のようなオンラインツールを活用するのが便利です。

手動で作成する場合

無料のサイトマップジェネレーター（例：XML-Sitemaps.com）を使えば、
URLを入力するだけで自動的にXML形式のファイルを生成できます。
作成後は、そのファイルをサーバーのルートディレクトリにアップロードすればOKです。

WordPressならプラグインで楽できるし、静的サイトでもツールで簡単に作れるよ！

Search Consoleへの送信方法

  1. Search Consoleにログイン
  2. 対象プロパティを選択
  3. 「サイトマップ」メニューからURLを入力し送信

送信後は「取得成功」「読み込み失敗」などのステータスが確認できるので、必ずチェックしてね。

定期的に送信・確認するのがベストだよ！

robots.txtとサイトマップのベストプラクティス

  • robots.txtに必ず「Sitemap:」でサイトマップを記載
  • 不要ページをDisallowしてクローラビリティを上げる
  • canonicalやnoindexとの整合性も意識

よくあるミスと注意点

  • Disallow: / で全ページを除外してしまう
  • SitemapのURLが間違っている
  • サイトマップのURLがhttpsじゃなくhttp
  • クロールさせたいページを誤ってDisallowしている
とくにテスト環境のrobots.txtを本番に流用すると危ないよ〜

まとめ

robots.txtとXMLサイトマップは、SEOの基礎でありながら非常に重要なクロール最適化の手段です。
定期的に確認・更新を行い、検索エンジンにとって「わかりやすく、クロールしやすいサイト」に整えていくことが、検索順位アップの土台になります。

検索順位の差は、こういう“基礎の徹底”で決まってくるよ

関連記事

最新記事