AIクローラーのアクセスは、サーバーのアクセスログに残るボット名（ユーザーエージェント）を各社の公式の名前で数え、送信元のIPアドレスを公式の一覧で照らして本物かを確かめます。GA4では数えられません。数える前に、名前だけでは本物と決められないことを押さえてください。
この記事は、ログで数える手順に絞ります。robots.txtでの許可と拒否の書き方はrobots.txt設定に、AIから人が訪れた数の見方はAI経由の効果の見方にまとめています。
なぜGA4ではなく、サーバーのログを見る？
GA4のボット除外の説明には、次の説明があります。
Google アナリティクスのプロパティでは、既知の bot およびスパイダーによるトラフィックは自動的に除外されます。
同じページは、除外をオフにすることも、除外した量を確かめることも、今はできないとしています。AIクローラーがページを取得しても、GA4の数字には出てこないと考えてください。
GA4で見えるのは、AIの回答のリンクから人が訪れた数です。ボットがページを取得した記録とは別のものです。2つを混ぜると、取得が増えたことを訪問が増えたことと読み違えます。
アクセスログは、Webサーバーや配信の仕組み（CDN）が、リクエストごとに残す記録です。日時、送信元IP、取得したURL、応答のステータスコード、ユーザーエージェントが1行に並ぶのが一般的です。どの項目を残すかはサーバーの設定で変わるので、制作担当かホスティング会社に確かめます。
ログでは、どの名前を数える？
各社の公式ページで、2026年10月25日に確かめた名前です。用途の違いの詳しい説明はrobots.txt設定の表に任せ、ここでは数えるときの扱いだけを書きます。
| 名前 |
会社 |
数えるときの扱い |
| GPTBot |
OpenAI |
学習用。IPの一覧あり |
| OAI-SearchBot |
OpenAI |
ChatGPTの検索用。IPの一覧あり |
| ChatGPT-User |
OpenAI |
利用者の操作による取得 |
| ClaudeBot |
Anthropic |
学習用。IPの一覧あり |
| Claude-SearchBot |
Anthropic |
検索の質を上げるための巡回 |
| Claude-User |
Anthropic |
利用者の質問による取得 |
| PerplexityBot |
Perplexity |
検索結果への表示用 |
| Perplexity-User |
Perplexity |
利用者の依頼による取得 |
| Googlebot |
Google |
DNSを引いて確かめる |
出典は各社の公式ページです。OpenAIはボットの説明に、Anthropicはヘルプに載せています。Perplexityはクローラーの説明に、Googleはクローラーの一覧にあります。
ログの1行には、GPTBot/1.4 のように名前と版の番号が入ります。OpenAIは版の番号が変わることがあると書いているので、数えるときは名前の部分だけで拾います。
robots.txtの取得は、本文の取得と分ける
OpenAIの説明では、robots.txtを取りに来るときに、ユーザーエージェントの文字列へ robots.txt という印を足すことがあります。ログにURLが残らない場合でも、規則の確認と本文の取得を分けられるようにするためと書かれています。
robots.txtの取得は、規則を読みに来た記録です。ページの中身を取得した数に混ぜると、取得が多く見えます。集計では、URLが /robots.txt の行を別の列にします。
利用者の操作で取りに来たものは、巡回と分ける
ChatGPT-User、Claude-User、Perplexity-Userは、人がAIに質問したときにページを取りに来るものです。OpenAIは、ChatGPT-Userは自動でウェブを巡回するためのものではないと説明しています。Perplexityは、この取得は通常robots.txtを無視すると書いています。
この3つの数は、誰かがAIに聞いた結果、自社のページが読まれた回数に近いものです。学習用のボットの数とは意味が違うので、表では分けて残します。
名前を名乗るだけの偽物は、どう見分ける？
ユーザーエージェントは、送る側が自由に書ける文字列です。ボットの名前を名乗るだけの通信も、ログには同じように残ります。
OpenAI、Anthropic、Perplexityは、ボットの送信元IPアドレスの一覧を公開し、公式ページからリンクしています。ログの送信元IPがその範囲に入っていない行は、名前が同じでも別に数えます。
Googleのリクエストの確認の説明では、手順が2つあります。
- ログのIPアドレスでDNSを逆に引き、ドメイン名が googlebot.com、google.com、googleusercontent.com のどれかかを確かめる
- 出てきたドメイン名でDNSを引き直し、元のIPアドレスと同じかを確かめる
1回だけならコマンドで十分で、大量の照合では、公開されているIPの一覧と機械で突き合わせるよう書かれています。
IPで止めても、拒否の意思は伝わらないことがある
Anthropicのヘルプは、IPアドレスでボットを止める方法は、正しく働かないか、拒否を続けて保証できないことがあると書いています。robots.txtを読めなくなるためです。拒否したいときはrobots.txtで指定し、IPの一覧は本物かを確かめる用途に使います。
Google-Extendedは、なぜログに出ない？
同じGoogleのクローラーの一覧には、次の説明があります。
Google-Extended には、個別の HTTP リクエスト ユーザー エージェント文字列はありません。クロールは既存の Google ユーザー エージェント文字列を使用して行われます。
Google-Extendedは、Geminiの学習や一部の根拠づけに使うかを、robots.txtで指定するための名前です。ログでいくら探しても、この名前の行はありません。Googlebotの取得の数のうち、どれがGeminiの学習に使われたかも、ログからは分けられません。
同じページは、Google-ExtendedがGoogle検索への登録や順位に影響しないとしています。ログに出ないからといって、設定が効いていないとは判断しません。
数えた行を、どう表にまとめる？
月ごとに、ボット名と次の項目を1行にします。名前の一覧は各社が更新するので、表を作る月に公式ページを開き直します。
- 取得の回数（robots.txtを除く）
- robots.txtを取りに来た回数
- 応答のステータスコードの内訳（200・301・403・404・5xx）
- よく取得されたURLの上位
- IPの照合で本物と確かめられた行の割合
ステータスコードの内訳は、点検に使えます。検索用のボットに403が多ければ、ファイアウォールやボット対策が止めている疑いがあります。404が多ければ、古いURLへのリンクが残っていないかを見ます。
製造業なら、よく取得されたURLの上位に、どの製品ページや技術資料が入るかを見ます。図面の受け付け条件を書いたページが一度も取得されていなければ、サイト内のどこからもリンクされていない可能性があります。
私たちが計測でつまずいたこと
メーカー図鑑のGA4では、2026年10月22日まで、手元の確認作業（localhost）の閲覧が本番より多く記録されていました（localhost 11,346回 対 本番 959回）。計測タグを本番のドメインでだけ読むように直しています。
ログでも同じことが起きます。数える前に、自分たちの確認作業や監視の通信を除く条件を決めておきます。
Cloudflareを使っているなら、どこを見る？
配信にCloudflareを使っているサイトは、管理画面のAI Crawl Controlで、AIクローラーのアクセスを見られます。Cloudflareの説明では、以前はAI Auditという名前で、全プランで使えます。
AIの通信の分析のページによると、見られるのは次の項目です。
- クローラーごと、運営会社ごとのリクエスト数と転送量
- 応答のステータスコードの分布（2xx・3xx・4xx・5xx）
- よく取得されたパスと、URLのまとまりごとの取得
- 日付、クローラー、パスでの絞り込みと、CSVでの書き出し
AIサービスから人が訪れた紹介の数（chatgpt.com などからの訪問）は、有料プランだけの機能と書かれています。違反の一覧の画面では、robots.txtで拒否したパスを取りに来たクローラーも一覧になります。ただし、規則を変えた直後は、変える前の正当な取得が違反として出ることがあると注意書きがあります。
1行ずつのログを自社の保存先へ送るならLogpushを使います。Cloudflareの説明では、Logpushは過去の分をさかのぼって送れません。止まっていた間のログは失われるので、設定したら届いているかを確かめます。
私たちのサイトはCloudflare Pagesで配信していて、自分で管理するWebサーバーがありません。こうした配信では、サーバーのログを開く代わりに、Cloudflareの画面か、ログの書き出しで数えることになります。
数えた後に、何と並べる？
ボットの取得は、AIの回答に引用されたことの証拠ではありません。取得が増えた月と、回答に自社のリンクが出た月は、別々の記録として残します。
回答の側は、同じ問いを同じ条件でAIに聞いて保存します。保存の型はAIでの推薦の星取り表を使えます。Claudeでの出方はClaudeの検索と引用にまとめています。測り方の全体はAIでの見え方の測り方のカテゴリにあります。
仕様・出典の確認日：2026年10月25日。
