クロールバジェットとは：中小企業のサイトで本当に気にする必要はあるか

クロールバジェットとは、GoogleがサイトのURLを取得するために割り当てる時間や資源を指す呼び名です。通常の中小企業サイトでは、割り当てを増やす方法を探す前に、検索へ出したいページの登録状況を確認してください。

会社が小さくても、製品の絞り込みで大量のURLができるサイトはあります。反対に、会社が大きくても、公開サイトのURLが少なく更新も穏やかなら、大規模サイト向けの調整を先に行う理由はありません。

「検索に出ないからクロールの予算が足りない⁠」⁠と決めず、まだ取得されていないのか、取得後に登録されていないのかを分けます。調べ始めるURLは、受注や相談につながる主力製品のページです。

Googleの公式資料は、どんなサイトを対象にしている？

検索セントラルにあった、大規模サイトのクロールの割り当てを管理するページのURLは、現在クロール基盤の公式資料「Optimize your crawl budget」⁠へ転送されます。大きく、頻繁に更新されるサイト向けの高度なガイドです。

公式資料が挙げる主な対象は次のとおりです。ページ数だけを抜き出さず、更新頻度も一緒に読んでください。

同じ文書は、これらの数を厳密な境界ではなく、サイトを分類するためのおおまかな数としています。「9,999ページなら不要、1万ページなら必要」⁠と⁠い⁠う判定表ではありません。

更新が急速な大量ページがなく、公開した日に取得されているなら、このガイドを読む必要はないという説明もあります。Google検索については、サイトマップを更新し、ページのインデックス登録レポートを定期的に確認すれば足りるとしています。

私たちは23メディア・合計8,155ページ⁠を運営しています。出典は2026年9月20日⁠に行った全URLの確認です。ただし、これは複数サイトの合計で、一つのサイトの固有ページ数ではありません。この合計値を公式資料の対象規模と直接比べてはいけません。

取得回数を増やせば解決、とならないのはなぜ？

Googleは、サーバーに負担をかけずに取得できる量と、URLを取得する必要性の両方を見ます。サーバーが健康でも、取りに行く必要が低ければ取得は少なくなります。

反対に、サーバーが遅くなったり、エラーやアクセス制限の応答が増えたりすると、取得を抑える要因になります。不要なURLが大量にあるかだけでなく、正常に応答しているかも調べる理由です。

この説明は、割り当てを増やせば順位が上がるという意味ではありません。クロールは取得の段階です。取得されたページでも、その後の評価や正規化を経て、登録されないことがあります。

私たちも暦の自社メディアで、1,024ページ⁠を作って公開し、2週間の時点では流入0でした。出典は自社メディアの運営記録です。ただし、この失敗はクロールバジェット不足を確認した結果ではありません。流入の数字だけで、どの段階に原因があったかは決められません。

中小企業のサイトでは、何から切り分ける？

ページのインデックス登録レポートの公式ヘルプで、対象URLが登録されない理由を読みます。全体の未登録件数より、検索へ出したい製品や記事の状態を先に確認します。

未取得と、取得したが登録しなかった状態は、次の作業が違います。公開画面を見ずに「Googleにもっと来てもらう」⁠と⁠い⁠う依頼へまとめないでください。

全体の手順は作ったページが検索に出ない理由⁠へ進めます。本文の取得失敗や空の製品一覧が疑われるなら、ソフト404の原因と用途別の直し方⁠を使います。同じ内容が複数URLにあるなら、重複コンテンツの整理方法⁠で残す用途を決めます。

除外されているURLの中には、転送元や意図して検索へ出さないページもあります。未登録件数をゼロにするために、不要なURLまで独立して登録させる仕事にはしません。

ページ数が少なくても、絞り込みURLが増えていたら？

画面上の製品数と、Googleが見つけるURL数は同じとは限りません。材質、寸法、並び順を変えるたびに別のURLが生まれる設計なら、組み合わせが増えます。

製造業の点検例として、同じ部品一覧を「材質順」「寸法順」「更新順」⁠で開く画面を考えます。同じ内容を並べ替えているだけか、選択した条件ごとに別の情報が必要かを、制作担当と操作して確かめます。実際の製品数やURL数を示す例ではありません。

同じ内容なら、余分なURLを生まない設計や、代表URLへまとめる方法を検討します。異なる型番の仕様を読むために必要なURLまで、まとめて閉じないでください。

公式のクロール資料も、重複URLの整理を案内しています。ただし、robots.txtで一括して止めれば終わりではありません。検索登録を止める指定と、取得を止める指定は用途が違います。既存の登録や、読ませる必要のある指定まで含めて、制作担当が変更範囲を確認します。

モバイル ファースト インデックスは、予算の話とどう違う？

モバイル ファースト インデックスの公式説明では、スマートフォン用のエージェントで取得したモバイル版の内容を、登録と順位付けに使うとしています。取得に使える量ではなく、どの内容を使うかの話です。

PC版だけに詳しい仕様表があり、モバイル版では「詳しくはお問い合わせください」⁠に置き換わるなら、その差を調べます。文字を小さくすることより、内容を同等に保つことを先に確認してください。

公式資料は、スマホで読みやすくするためにアコーディオンやタブへ移すことも認めています。ただし、タップした後に初めて主要な本文を取得する仕組みとは区別します。Googleは、操作しなければ読み込まれない主要な内容に注意を求めています。

製品ページなら、材質、寸法、注意事項、図面へのリンクをPCとスマホで比べます。スマホの画面を短くするために必要な条件まで削っていないかを確認します。これはモバイル版の点検例で、取得量不足の診断ではありません。

制作担当へは、どんな記録を渡す？

「クロールバジェットを改善してほしい」⁠だ⁠け⁠で⁠は⁠、どのURLをどう調べるかが決まりません。重要URL、未登録の理由、最終取得日時、実際に読めた本文、同じ処理を使うページの範囲を渡します。

URL検査ツールの公式ヘルプ⁠に沿って、登録された状態と公開テストを分けて確認します。公開テストが通っても、登録や検索表示の保証にはなりません。修正日と取得日時を比べ、古い結果を見ていないかも確認してください。

サーバーの遅延やエラーがあれば配信側を、同じ一覧のURLが増えるなら生成側を調べます。本文が消えているなら本文を戻します。取得の回数だけを増やす依頼へ置き換えず、観察した状態に合う修正を選びます。

小規模なサイトでも、新規ページの案内とサイトマップの更新は継続します。作り方はXMLサイトマップの作成と送信⁠で確認できます。更新したことをGoogleへ知らせる手段であり、すべての登録を約束するものではありません。

サイト設計の点検では、公開しているURLと、そのURLを残す理由を対応させてください。会社の規模ではなく、実際のURLと取得・登録の状態から、次の作業を決めます。

仕様・出典の確認日：2026年10月22日⁠。