robots.txtとAIクローラー｜GPTBotやClaudeBotは許可すべきか
自社サイトの情報をAIの学習や回答に使わせるかどうかは、robots.txtである程度意思表示できます。主なAIクローラーの種類と役割、許可・拒否を判断する観点、設定時の注意点を整理します。
生成AIの普及に伴い、Webサイトを巡回するクローラー（ページを自動で収集するプログラム）の種類が増えています。「自社のコンテンツが勝手にAIの学習に使われるのは困る」と考える一方で、「AI検索で紹介されなくなるのも困る」と、どう設定すべきか悩んでいる担当者の方も多いでしょう。
AIクローラーへの対応は、robots.txtというファイルで、ある程度意思表示ができます。ただし、クローラーごとに役割が異なり、一律に拒否すると思わぬ影響が出ることもあります。また、robots.txtには強制力がない点も理解しておく必要があります。
この記事では、robots.txtの基本、主なAIクローラーの種類と役割、許可・拒否を判断する観点、そして設定するときの注意点を解説します。
robots.txtの基本と限界
robots.txtは、サイトのルート（例：https://example.com/robots.txt）に置くテキストファイルで、どのクローラーにどのページの巡回を許可・拒否するかを記述します。クローラーの名前をUser-agent、拒否するパスをDisallowで指定するのが基本の書き方です。
押さえておきたいのは、robots.txtはあくまで「お願い」であり、技術的にアクセスを遮断するものではないという点です。主要な企業のクローラーはrobots.txtに従うと公表していますが、すべてのクローラーが従う保証はありません。また、robots.txtはクローラーの巡回を制御するもので、すでに収集された情報や、他のサイトに転載された自社の情報まで制御できるわけではありません。
確実にアクセスを制限したい情報は、そもそも公開ページに置かない、ログインが必要な領域に置くといった対応が必要です。
主なAIクローラーと役割
AI関連のクローラーは、大きく「AIの学習用に収集するもの」「AI検索の回答や索引のために収集するもの」「ユーザーの指示でその場でページを取得するもの」に分けられます。代表的なものを整理します。名称や役割は変更されることがあるため、設定前に各社の公式ドキュメントを確認してください。
| 名前（User-agent） | 提供元 | 主な役割（2026年時点の一般的な情報） |
|---|---|---|
| GPTBot | OpenAI | AIモデルの学習に使う可能性のあるデータの収集 |
| OAI-SearchBot | OpenAI | ChatGPTの検索機能で表示するサイトの収集 |
| ClaudeBot | Anthropic | AIモデルの学習に使う可能性のあるデータの収集 |
| Google-Extended | 巡回するクローラーではなく、GeminiなどのAIモデルへの利用可否を指定するための名前。Google検索の掲載や順位には影響しないと説明されている | |
| Googlebot | 通常のGoogle検索のためのクローラー。AI Overviewsもこのクローラーで収集した情報をもとにしている |
特に誤解が多いのが、Google-ExtendedとAI Overviewsの関係です。Google-Extendedを拒否しても、AI Overviewsに自社ページが使われなくなるわけではないとされています。AI Overviewsへの表示を避けたい場合、Googlebot自体を拒否すると通常の検索結果からも消えてしまうため、現実的な選択肢にはなりにくい点に注意が必要です。
許可・拒否を判断する観点
どのクローラーを許可するかは、自社のビジネスにとってAI経由で知られることの価値と、コンテンツが利用されることへの懸念を比べて判断します。
- 集客への影響：AI検索で紹介されることが新規顧客の獲得につながる業種では、検索系のクローラーは許可するほうが合理的なことが多い
- コンテンツの性質：独自の調査、有料で提供しているノウハウ、写真・イラストなど、それ自体が商品であるコンテンツは、学習用クローラーの拒否を検討する価値がある
- サーバーへの負荷：クローラーのアクセスが多く、表示速度に影響が出ている場合は、制御を検討する
- 社内の方針：AI活用に関する社内ルールや、取引先との契約上の制約がないかを確認する
例えば、地域のサービス業で「多くの人に知ってもらいたい」という目的が強い場合は、すべて許可したままにするのも一つの判断です。一方、教材や専門記事を販売している場合は、学習用のクローラーだけ拒否し、検索用のクローラーは許可する、という組み合わせが考えられます。著作権との関係など法的な判断が必要な場合は、専門家に確認してください。
設定の手順と注意点
robots.txtを変更するときは、次の手順で進めると安全です。
- 現在の内容を確認する：ブラウザで自社サイトの/robots.txtを開き、現状を記録します。CMSやプラグインが自動生成している場合もあります。
- 方針を決める：クローラーごとに、許可・拒否のどちらにするかを表にまとめます。
- 記述を作成する：例えば、GPTBotをサイト全体で拒否する場合は「User-agent: GPTBot」の次の行に「Disallow: /」と書きます。
- Googlebotを誤って拒否していないか確認する：記述のミスで検索エンジン全体を拒否してしまう事故は珍しくありません。
- 公開後に確認する：Search Consoleのrobots.txtレポートで、Googleが正しく読み込めているかを確認します。
AIにrobots.txtの作成を手伝ってもらう場合は、「GPTBotとClaudeBotはサイト全体を拒否し、それ以外のクローラーは従来どおり許可するrobots.txtを作成してください。各行の意味も説明してください」のように、方針を明確に伝えます。ただし、AIは古いクローラー名や存在しない名前を書くことがあるため、名前は各社の公式ドキュメントで必ず確認してください。
定期的な見直しが必要な理由
AIクローラーは新しいものが登場したり、名称や役割が変わったりすることがあります。一度設定したら終わりではなく、半年に一度程度を目安に見直すことをおすすめします。
見直しの際は、サーバーのアクセスログで実際にどのクローラーが訪れているかを確認できると、判断材料になります。制作会社やサーバー会社に依頼すれば、アクセスの多いクローラーを抽出してもらえることもあります。あわせて、自社の方針に変化がないか、AI検索からの流入がどの程度あるかも確認しておくと、許可・拒否の判断を更新しやすくなります。
まとめ
AIクローラーは、学習用、検索用、ユーザーの指示による取得用など役割が分かれており、robots.txtでクローラーごとに許可・拒否を指定できます。ただし、robots.txtに強制力はなく、Google-Extendedを拒否してもAI Overviewsへの表示は止められないなど、仕組みを理解したうえで判断することが大切です。
まずは自社サイトのrobots.txtを開いて現状を確認し、AI経由で知られることの価値と、コンテンツ利用への懸念のどちらを重視するかを社内で話し合ってみてください。方針が決まったら、Googlebotを誤って拒否しないよう注意しながら設定しましょう。