クロールバジェットとは？
クロールバジェットは、Googlebot がサイトをクロールするために使えるリソースを表す実務上の概念です。Google 検索セントラルの大規模サイト向けクロールバジェット管理ガイドでは、主に大規模サイトや頻繁に更新されるサイト向けの高度なテーマとして説明されています。
数十から数百ページ規模のサイトでは、クロールバジェットを細かく調整するより、サイトマップ、内部リンク、URL構造、重複ページの整理、ページ品質の改善を優先します。大規模サイトでは、不要URLを減らし、重要URLへクロールを集中させることが重要です。
01.クロールバジェットとは
クロールバジェットとは、Googlebot が「そのサイトをどれだけクロールできるか」と「どれだけクロールしたいか」の組み合わせで決まるクロール量の考え方です。クロールされたページが必ずインデックスされるわけではありません。クロール後に評価・重複統合・品質判断が行われます。
図：クロールバジェットを決める2つの要素
Googlebot がクロールできる量と、クロールしたい需要の両方で決まる
容量
クロール容量
サーバーがGooglebotのリクエストに安定して応答できる量。サイトが遅い、5xxが多いと下がりやすい。
需要
クロール需要
GoogleがクロールしたいURLの量。人気と、最後のクロールから時間が経っているかが主な要因。重要・更新性の高いページは需要が高くなりやすい。
クロールとインデックスの違いは、インデックスの記事で詳しく整理しています。
02.気にすべきサイト
Googleは、クロールバジェット管理を主に「非常に大きいサイト」や「頻繁に更新されるサイト」向けの高度なテーマとして扱っています。普通の企業サイトや小規模メディアでは、まずサイトマップと内部リンク、ページ品質を整えることが先です。
| サイトの状態 | 優先度 | 見るべきこと |
|---|---|---|
| 数十〜数百ページの企業サイト | 低 | 内部リンク、サイトマップ、noindexの誤設定を確認する |
| 数千〜数万URLのメディア・EC | 中 | 重複URL、タグ、パラメータ、低品質一覧を確認する |
| 求人・不動産・店舗検索などのデータベース型サイト | 高 | 条件別ページ、絞り込み、重複一覧、在庫切れURLを確認する |
| 100万URL級の大規模サイト | 高 | ログ分析、URL在庫管理、サーバー応答、クロール統計を見る |
| 毎日大量更新するサイト | 高 | lastmod、ニュース性、重要URLの発見経路を確認する |
03.クロール容量とクロール需要
クロール容量は、Googlebot がサーバーを過負荷にしない範囲でクロールできる量です。サイトが速く安定していれば増えやすく、遅い・エラーが多いと減りやすくなります。クロール需要は、Google がそのサイトのURLをクロールしたい度合いです。
| 要素 | 増減する要因 | 改善の方向 |
|---|---|---|
| クロール容量 | サーバー応答速度、5xx、タイムアウト | 表示速度とサーバー安定性を改善する |
| クロール需要 | 人気、更新性、前回クロールからの時間 | 重要ページの更新と発見経路を明確にする |
| 発見経路 | 内部リンク、サイトマップ、外部リンク | 重要ページを孤立させない |
| 重複統合 | canonical、リダイレクト、URL正規化 | 同じ内容のURLを分散させない |
04.無駄なクロールが起きる原因
クロールバジェットの問題は、Googlebotからのクロールリクエストを無理に増やす話ではありません。重要ではないURLにクロールが使われ、重要ページが見つかりにくくなる状態を避ける話です。
| 原因 | 起きること | 見直し方 |
|---|---|---|
| 重複URL | 同じ内容を複数URLでクロールされる | canonical、301、URL正規化を使う |
| パラメータURL | 並び替え・絞り込みURLが大量発生する | robots.txtやパラメータ管理方針を決める |
| soft 404 | 価値のないページがクロールされ続ける | 404/410や統合で整理する |
| 低品質ページ | クロールされてもインデックスされにくい | 統合、リライト、削除を判断する |
| 長いリダイレクトチェーン | クロール効率が落ちる | 最終URLへ直接リダイレクトする |
Googleにとっても、重複ページ、空に近い一覧、検索結果に出す価値が薄いURLを大量にインデックス候補として扱うメリットはありません。クロールバジェットの改善は、無理にURL数を増やすことではなく、良質な代表ページをGoogleにクロール・インデックスしてもらいやすくするための整理です。
05.改善方法
| 施策 | 目的 | 関連記事 |
|---|---|---|
| サイトマップを更新する | 新規・更新URLをGoogleに伝える | sitemap.xml |
| robots.txtで不要クロールを制御する | 検索に不要なURLをクロールさせない | robots.txt |
| 重複URLを統合する | 同じ内容へのクロール分散を防ぐ | canonical |
| 削除済みページを正しく返す | 存在しないURLをクロールキューに残しにくくする | リダイレクト |
| 内部リンクを整える | 重要ページへの発見経路を作る | 内部リンク |
06.noindex・robots.txt・canonicalの使い分け
クロールバジェットの文脈では、noindex、robots.txt、canonicalを混同しないことが重要です。noindexは検索結果に出さないための指示ですが、Googleがnoindexを確認するにはページをクロールする必要があります。robots.txtはクロール自体を止めるための仕組みです。
| 方法 | 主な用途 | 注意点 |
|---|---|---|
| noindex | ページは見せるが検索結果には出さない | 確認にはクロールが必要。短期的なクロール節約には向かない |
| robots.txt | クロールさせたくないURLをブロックする | インデックス済みURLの削除目的では使わない |
| canonical | 重複・類似ページの代表URLを示す | ヒントであり、完全な削除やクロール停止ではない |
| 301リダイレクト | 後継URLへ統合する | ユーザーも検索エンジンも移動させたい場合に使う |
07.よくある失敗
小規模サイトで優先しすぎる
クロールバジェットだけを気にし、ページ品質や内部リンクの改善が後回しになる。
noindexを節約策として使う
noindexの確認にはクロールが必要なため、短期的なクロール削減策としては向きにくい。
低品質なURL在庫を放置する
パラメータURL、タグページ、重複一覧が増え、重要URLへのクロールが分散する。
サイトマップに不要URLを含める
検索結果へ出したくないURLまで送信し、重要URLの発見補助として機能しにくくなる。
サーバーエラーを放置する
5xxやタイムアウトが続くと、Googlebotが安定してクロールしにくくなる。
08.よくある質問（FAQ）
小規模サイトでもクロールバジェットを気にすべきですか？
多くの小規模サイトでは優先度は高くありません。まずはサイトマップ、内部リンク、ページ品質、noindexやrobots.txtの誤設定を確認する方が重要です。
noindexでクロールバジェットを節約できますか？
noindexを確認するにはGoogleがページをクロールする必要があるため、短期的なクロール節約には向きません。検索に不要でクロールも不要なURLはrobots.txt、重複URLはcanonicalや301など、目的に応じて使い分けます。
クロール頻度を上げれば順位も上がりますか？
クロールは検索結果に出る前提ですが、クロール頻度そのものが順位改善を保証するわけではありません。重要ページが発見され、品質が評価され、検索意図に合っていることが必要です。
09.まとめ
クロールバジェットは、大規模サイトや頻繁に更新されるサイトで特に重要になる考え方です。重要なのは、Googlebotからのクロールリクエストを無理に増やすことではなく、不要URLを減らし、重要URLへ発見経路を作り、サーバーが安定して応答できる状態を作ることです。
重要ページが正しくクロール・インデックスされる状態を作りませんか？
Cryptulでは、サイトマップ、robots.txt、canonical、内部リンク、Search Consoleのデータをもとにクロール効率を改善します。
SEO・AI検索 基礎知識集
一覧に戻る →基本概念
コンテンツ設計・品質
サイト構造・リンク設計
エンティティ・構造化データ
クロール・インデックス制御
- ›クロールバジェットとは？（この記事）
- ›robots.txtとは？
- ›sitemap.xmlとは？
- ›noindexとは？
- ›noindexを使うべきページ
- ›nofollowとは？
- ›クロール済みインデックス未登録の直し方
- ›リダイレクトとは？
