robots.txtの書き方とAIクローラー：学習と検索を分ける設定例

robots.txtとは、サイトを巡回するクローラーに、読み取ってよい範囲と読ませない範囲を伝えるテキストファイルのことです。AIの学習用と検索用で別のボットがあるため、止めたい用途と名前を対応させて書きます。

編集前に、今のファイルを保存し、公開ページで許可する用途を決めてください。その後で各グループの指定を直し、公開したファイルを読み返します。管理画面で保存できたことだけでは、正しい内容が配信されたか分かりません。

自社サイト全体の点検順はLLMO対策の7項目⁠で扱っています。このページは、その最初の項目にあるrobots.txtの書式と設定例を確認するために使います。

robots.txtはどこに、どんなファイルで置く？

対象ホストのルートに、半角小文字のrobots.txtという名前で置きます。たとえばhttps://example.com/robots.txtです。記事フォルダの中に置くファイルではありません。

Googleの作成手順は、UTF-8のプレーンテキストを使うよう案内しています。文書作成ソフトの独自形式や、見た目だけテキストにしたHTMLではなく、テキストファイルとして保存します。

example.comとcatalog.example.comのようにホストが違えば、別々に確認します。Googleのrobots.txt仕様では、プロトコル、ホスト、ポートが適用範囲を決めます。本体のファイルを書き換えても、別サブドメインの図面置き場まで同じ設定にはなりません。

User-agent・Disallow・Allow・Sitemapはどう書く？

以下は、公開の資料置き場の一部を巡回対象から外す例です。機密情報を守る設定ではありません。パスとドメインは説明用です。

User-agent: *
Disallow: /archive/
Allow: /archive/public/

Sitemap: https://example.com/sitemap.xml

一行に一つの指定を書きます。パスは/から、サイトマップはhttps://などを含む完全なURLで書きます。コメントは#から行末までです。

Googleでは一致するパスが長いルールが優先され、同じ長さで許可と拒否が競合したときは許可が優先されます。上の例では、/archive/public/を例外として読めます。ファイルの下へ書いたルールが常に勝つ仕組みではありません。

Disallow:の値が空なら、その行による拒否はありません。Disallow: /は対象グループのサイト全体を拒否します。スラッシュ一つで意味が変わるため、公開前に読み合わせてください。

AIクローラーの名前と役割は？

2026年10月22日に、以下の各社の公式文書を開いて確認しました。通信時の長いUser-Agent全文ではなく、robots.txtで指定する名前を載せています。利用者の操作による取得も、違いを確認するために含めています。

Bing公式ブログが説明しているのは、検索の登録に向けた巡回です。BingbotをAI学習専用として一括で拒否しないようにします。

Perplexityは、PerplexityBotを基盤モデルの学習向けの収集には使わないと明記しています。Google-Extendedは独立した通信上のUser-Agent名を持たず、既存のGoogleクローラーが取得した内容の利用を制御するトークンです。アクセスログにその名前が無いことを、設定が不要な理由にはできません。

呼び名の全体像はAIO・LLMOとSEOの違い⁠へ進めます。ボット名を自作の分類名へ置き換えないでください。

学習を拒否して、検索には出すには？

OpenAIの公式資料は、検索用と学習用を独立して指定できると説明しています。学習用のGPTBotを拒否し、検索用のOAI-SearchBotを許可する最小例です。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

この例は公開ページ全体を検索用に許可します。既存の制限が必要なパスがあるサイトへ、そのまま足さないでください。後述の個別グループの扱いまで確認します。

Anthropicの学習用も拒否し、検索用を許可するなら、次のように用途を分けます。同社は3種類のボットがrobots.txtの指定に従うと説明しています。

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

これらは各社への今後の取得・利用方針を伝える例です。過去の学習データから情報を削除する設定でも、他社の学習利用を一括で拒否する設定でもありません。許可すれば検索の回答に必ず出るわけでもありません。

Googleでは、検索を許可したままGoogle-Extendedの対象利用を拒否する指定もできます。ただし、対象は学習だけではありません。

User-agent: Google-Extended
Disallow: /

Googleの説明によると、将来のGeminiモデルの学習と、Gemini Appsや一部のVertex AIでの根拠づけが対象です。Google検索への掲載や順位には影響しません。「学習だけを止め、すべてのAI回答には使わせる」設定と説明しないでください。GoogleのAI Overviewsへの掲載制御はAI Overviewsの設定と通常検索への影響⁠で別に扱っています。

個別グループを足すとき、既存の拒否は引き継がれる？

Googleのrobots.txt仕様は、次のように明記しています。

User agent specific groups and global groups (*) are not combined.

ボット名を指定したグループと、全体向けのグループは統合されない、という意味です。Googleはボット名に一致する具体的なグループを使います。共通グループにある拒否を、個別グループも自動的に引き継ぐと考えないでください。

たとえば、Googlebotには資料の旧版だけを読ませず、製品ページは読ませたいなら、次のように制限を個別側にも書きます。

User-agent: *
Disallow: /archive/

User-agent: Googlebot
Disallow: /archive/

Sitemap: https://example.com/sitemap.xml

AIの検索用ボットを個別に許可するときも、残すべき制限を洗い出します。グループの選択や例外の扱いは各社の仕様を確認し、Allow: /だけを追加して完了にしないようにします。

学習用に全体拒否を指定したグループへ、検索用のボット名まで続けて並べるのも避けてください。同じグループとして扱われると、検索用も拒否することになります。

公開時によくある間違いは？

テスト時の次の指定を本番へ持ち込むと、一般的なクローラーにサイト全体を読ませない設定になります。

User-agent: *
Disallow: /

公開へ切り替える日は、製品ページだけでなく/robots.txtも実際に開きます。不要な全体拒否を外し、必要なパスの制限へ置き換えてください。公開ページに必要な画像やCSSまで妨げていないかも確認します。

パスの大文字・小文字、末尾のスラッシュも照合します。Googleでは/Catalog/と/catalog/は同じ指定ではありません。名前を似せて書くのではなく、実際に返されるURLで確認します。

Disallowで検索から消そうとしない

クロールを拒否しても、Googleは外部リンクなどからURLを知り、検索へ載せることがあります。検索からの除外が目的ならnoindexの設置と確認⁠を使い分けます。Googleはrobots.txt内のnoindexに対応していません。

llms.txtも拒否の代わりにはなりません。案内ファイルとの違いはllms.txtの書き方と効果についての事実⁠で説明しています。

書き換えた後は、何を確認する？

公開URLからファイルを取得し、保存した内容と一致するかを見ます。HTMLのエラーページになっていないか、別ホストへ飛んでいないかも確認します。Google向けにはSearch Consoleのrobots.txtレポート⁠も使えます。

次に、ボットごとに「代表的な製品URL」「拒否する資料URL」「例外で許可するURL」⁠を並べ、許可・拒否の意図を照合します。ファイルを読むだけでなく、WAFやCDNのログで拒否されていないかも確認します。

Perplexityの公式資料は、WAF設定でUser-Agentと公開IP範囲の両方を使う例を示しています。名前を名乗る通信すべてを無条件で通す設定にはせず、各社の確認方法に従ってください。

最後に、変更日、対象ボット、許可した用途、残したパス制限を記録します。運用方針が変わったときは、古い拒否を残して新しい許可を重ねず、該当グループを整理します。自社サイトのLLMO対策では、この設定を確認した後に、検索への登録と本文の点検へ進みます。

仕様・出典の確認日：2026年10月22日⁠。