AI クローラーを robots.txt でブロックすることは、Shopify ストアを守っているのか、それとも隠しているのか?
ストアの歴史のどこかで、誰かが AI クローラーの名前一覧を robots.txt.liquid に貼り付けたかもしれません。学習データに関するニュースを見た開発者が入れたのかもしれませんし、テーマ移行時のエージェンシーのチェックリストに従ったのかもしれません。誰もその理由を書き残していなければ、そのファイルは毎日あなたに代わって判断を下し続けています。
結論から言えば、学習用クローラーをブロックすることと検索用クローラーをブロックすることは別の判断であり、多くのサイトは意図せず後者を選んでしまっています。この記事では、現在のファイルの内容を読み取り、ボットごとに判断し、その選択を記録して、次の担当者が推測しなくて済むようにする方法を紹介します。
現在の robots.txt は何を許可しているか?
ブラウザで yourstore.com/robots.txt を開き、先頭から末尾まで読んでください。名指しされた AI のユーザーエージェント、「User-agent: *」グループに続く「Disallow: /」、ポリシー・商品・コレクションに関わるルールを探します。さらに、robots.txt では見えない CDN やファイアウォールの設定も確認してください。そこで行われるブロックは robots.txt には表示されません。
標準的な Shopify の設定では、通常 AI クローラーに対して開かれています。Craftshift の記事(2026 年 5 月 6 日)によれば、デフォルトのルールは admin、cart、checkout、検索結果などのパスを対象としており、GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Claude-SearchBot はブロックしていません。また、2026 年 10 月 20 日に投稿されたShopify コミュニティの調査も同じ方向を示しています。98 ストアのうち 2 ストアだけが 14 種の AI クローラーのいずれかをブロックしており、ワイルドカードでブロックしていたものはなく、GPTBot としてフェッチした 52 ストアのうち 0 件が CDN やファイアウォールでブロックされていました。
この調査は小規模で非公式なサンプルとして扱うべきです。筆者は、対象ストアが AI 可視性アプリをインストールしていたことを指摘しており、平均より意識が高い可能性があります。率直に読めば、デフォルトのファイルを持つストアは通常開かれており、閉じているストアは誰かが手を加えたものである傾向があります。
さらに、それぞれ 1 分で済む確認が 2 つあります。返品・配送ポリシーのページをプライベートウィンドウで開き(Shopify では /policies/ 配下にあります)、ログインやエラーなしで開けることを確認してください。その後、無料の GEO チェックを実行し、公開ページを外部の読者がどう見るかを確認しましょう。テーマエディターに表示されるものではなく、外からの見え方を把握できます。
学習ボット、検索ボット、ユーザー起動型フェッチャー:それぞれ何をするのか?
学習用クローラーは、将来のモデル構築に使われうるページを収集します。検索用クローラーは、アシスタントが回答の中でページを提示できるようにページを索引化します。ユーザー起動型フェッチャーは、人がそのページについて尋ねたときに 1 ページだけを読み込みます。ブロックしたときの影響はそれぞれ異なり、3 つ目は robots.txt にまったく従わない場合もあります。
| 役割 | OpenAI | Anthropic | Perplexity |
|---|---|---|---|
| 学習 | GPTBot | ClaudeBot | なし。PerplexityBot は学習データを収集しない。 |
| 検索と引用 | OAI-SearchBot | Claude-SearchBot | PerplexityBot |
| 人の依頼によるフェッチ | ChatGPT-User | Claude-User | Perplexity-User |
各ベンダーは自社のドキュメントでこの区分を説明しています。OpenAI は、GPTBot をdisallow することはサイトのコンテンツを学習に使ってほしくないという意思表示になること、各ボットの設定は独立していること、OAI-SearchBot からオプトアウトしたサイトは ChatGPT の検索回答には表示されないが、ナビゲーション用のリンクとしては表示されうることを述べています。ChatGPT-User については、人が訪問を開始するため robots.txt のルールが適用されない場合がある、としています。
Anthropic は、ClaudeBot、Claude-User、Claude-SearchBot が robots.txt を尊重すると文書化しています。Claude-SearchBot をブロックすると検索用の索引化が止まり、ユーザーの検索結果での可視性が下がる可能性がある、としています。Perplexity については、Anagram のドキュメント要約によれば、PerplexityBot は検索結果をサポートし、Perplexity-User は依頼に応じて単一ページを取得し、通常は robots.txt を無視します。
一方のボットだけをブロックし、もう一方を忘れているサイトはどれくらいあるか?
aicrawlercheck.com の調査では、2026 年 10 月 5 日に Tranco の上位 10,000 ドメインから robots.txt を取得しました。解析可能な 4,962 ファイルのうち、710 ファイルが GPTBot をブロックしており、そのうち 347 ファイル(48.9%)は依然として OAI-SearchBot を許可していました。Anthropic については、ClaudeBot をブロックしている 665 サイトのうち 307 サイト(46.2%)が Claude-SearchBot を許可していました。
同じ調査では Google-Extended と Googlebot を比較し、ブロックしている 597 サイトのうち 477 サイト(79.9%)が Googlebot を開いたままにしていることがわかりました。意図的に Googlebot をブロックしているファイルは 11 件だけであり、この数字の高さは主にデフォルトによるものだと指摘しています。この調査は Shopify ストアではなく大規模サイトを対象としており、robots.txt のみを読み、ファイアウォール、CDN ルール、メタディレクティブは読んでいません。これは観測されたクローラーの動作ではなく、表明された意図のスナップショットです。
Shopify で何を編集でき、何を制御できないか?
Shopify に robots.txt ファイルをアップロードすることはできません。robots.txt.liquid という名前のテーマテンプレートを追加し、それがShopify の生成出力を置き換えるので、ルールはそこで編集します。robots.txt を無視するクローラー、ストアの前にある CDN やファイアウォールで強制されるルール、ベンダーが既に保持しているページをどう扱うかは制御できません。
Shopify のドキュメントは、プレーンテキストではなく Liquid の robots オブジェクトから始めることを推奨しています。手順は短いものです。
- 現在の /robots.txt のコピーを保存し、新しい出力と比較できるようにします。
- 管理画面で、オンラインストア、テーマ、コードを編集の順に進みます。Templates フォルダに robots.txt.liquid という新しいファイルを追加します。
- Shopify の例にある robots.default_groups のループを残し、その後ろに独自のグループを追加します。
- /robots.txt を再読み込みし、保存したコピーと行ごとに比較します。Shopify は、レンダリングされた出力が生成されたファイルと必ずしも一致しないと注意しています。
どの編集が被害をもたらすのか?
解説記事に見られる失敗は一貫しています。Craftshift は、Googlebot 以外のすべてをブロックするワイルドカードグループ(結果的に AI ボットも捕まえてしまう)、/products/ や /collections/ への Disallow、テーマ移行後に再確認されなかったテンプレートを挙げています。他のガイドでは、検索ボットを含むブロックリストをそのままコピーすること、デフォルトの Liquid ループを削除することも挙げられています。逆方向のミスもあります。ClaudeBot をブロックしたものの Claude-SearchBot と Claude-User を見落とし、ルールの効果が作成者の想定より小さくなるケースです。
ブロックが正しい選択になるのはいつか?
将来のモデルの学習にコンテンツが使われることに異議がある場合、ライセンスやブランドポリシー上の理由がある場合、対応しきれないクロール負荷がある場合には、ブロックは正当な選択です。コストは検索(リトリーバル)側に生じます。OpenAI は、OAI-SearchBot からオプトアウトしたサイトは ChatGPT の検索回答に表示されないと述べています。各ボットについて個別にメリットを判断してください。
例として、2023 年のテーマ作業で robots.txt.liquid に AI ユーザーエージェント 14 種のリストがコピーされたままになっている、架空の家庭用品ブランドを考えます。同社の写真はライセンスされたものなので、オーナーは GPTBot と ClaudeBot をブロックしたいと考えています。しかし、チームの誰もアシスタントの回答に載らなくなることは望んでおらず、そのリストは OAI-SearchBot、Claude-SearchBot、PerplexityBot もブロックしています。オーナーは学習用の 2 つのブロックを残し、検索用の 3 件を削除します。OpenAI によれば、検索用に robots.txt の変更が反映されるまで約 24 時間かかることがあります。
この変更によってページは対象になります。しかし、それで言及されるわけではありません。上記のコミュニティ調査では、少なくとも 10 回のチェックを受けた 94 ストアのうち 65 ストアが、ブランド名を含まない購入に関する質問で一度も名前が挙がりませんでした。また、筆者の結論は、クローラーのアクセスがそのギャップをほとんど説明しない、というものでした。この調査の可視性チェックは Gemini に偏っており、ストアのカテゴリごとに生成されたものだったため、別のプロンプトセットでは数字が変わるでしょう。開いたドアは引用されるために必要ですが、十分ではありません。
懸念が原則ではなくクロール負荷である場合、Anthropic は非標準の Crawl-delay ディレクティブをサポートしていると述べています。例えば ClaudeBot グループの下に「Crawl-delay: 1」と書くことができます。Anthropic はまた、IP アドレスによるブロックは勧めていません。それはそもそもクローラーが robots.txt を読むこと自体を妨げるからです。
判断をどう記録し、いつ見直すか?
次の担当者が見つけられる場所に判断を書き残してください。どのボットを許可またはブロックしたか、各判断の理由、承認者、日付、見直し日です。robots.txt.liquid 内のコメントは、ルールのそばに理由を残す良い方法です。少なくとも年に 2 回、そしてテーマ変更や移行のたびに見直してください。
| 項目 | 記載内容 |
|---|---|
| ルール | 各ユーザーエージェントと、許可かブロックか |
| 理由 | コンテンツの権利、ブランドポリシー、クロール負荷、アシスタント回答での可視性のいずれか |
| 承認者 | ブランドのコンテンツに対する権限を持つ、名前の挙がった一人 |
| 日付 | テンプレートの変更が公開された日 |
| 見直しのきっかけ | カレンダー上の日付、およびテーマの置き換えや移行のたび |
| 確認 | 変更前後の /robots.txt の保存コピーと、その時点のファイアウォールまたは CDN の設定メモ |
承認者は見た目以上に重要です。検索クローラーをブロックするルールは、買い物客が尋ねるアシスタントが返品や配送のページを読めるかどうかを左右するため、テーマへのアクセス権を持つ人だけでなく、ブランドの評判を所有する人に属するべきものです。
FAQ
Shopify のデフォルトの robots.txt は AI クローラーをブロックしていますか?
いいえ。サードパーティの解説と 98 ストアのコミュニティ調査によれば、デフォルトのルールは admin、cart、checkout、検索結果などのパスを disallow し、主要な AI クローラーには手を付けていません。テーマの編集や移行によってデフォルトが置き換えられている可能性があるので、それでも自分のファイルを確認してください。
GPTBot をブロックしたら、ChatGPT は私のストアを言及しなくなりますか?
OpenAI は各ボットの設定を独立したものとして文書化しています。GPTBot は学習利用に関わり、OAI-SearchBot はサイトが ChatGPT の検索回答に表示されるかどうかを左右します。GPTBot だけをブロックしても検索からオプトアウトすることにはならず、OAI-SearchBot をブロックするとそうなります。
robots.txt だけで、ページを AI アシスタントから遠ざけられますか?
いいえ。OpenAI は、robots.txt のルールが ChatGPT-User に適用されない場合があると述べており、Anagram による Perplexity のドキュメントの読み取りでは、Perplexity-User は通常それを無視します。ページを絶対にフェッチさせてはならない場合は、CDN やファイアウォールで強制するか、そもそも公開しないでください。
robots.txt の変更が反映されるまでどれくらいかかりますか?
OpenAI によれば、検索システムへの更新が反映されるまで約 24 時間かかることがあります。Anthropic や Perplexity からは明示されたタイムラインを見つけられなかったため、ファイルを再読み込みして意図どおりにレンダリングされることを確認し、数日後に再確認してください。
