Claude はサイトをどう読むのか ―― Anthropic のクローラーと llms.txt

30 秒で分かる結論：学習を断るなら ClaudeBot をブロック、見え方を保つなら残り 2 つを許可、llms.txt はおまけ

Anthropic のボットは 3 つです。ClaudeBot はモデルの学習に使われ得るウェブの内容を集めます。拒否すると今後の内容を学習データセットから除外してほしいという意思表示になり、それ以上の意味はありません。Claude-SearchBot は検索結果の質を上げるために内容を索引し、Claude-User は人が Claude に質問したときにページを取得します。このどちらかを拒否すると、ユーザーの検索結果での見え方が下がることがあると Anthropic は述べています。3 つとも robots.txt を守ると文書化されていて、非標準の Crawl-delay も含みます。

llms.txt については、Anthropic は自社の開発者向けドキュメントのものを公開していて、あなたのサイトのものを読むとは述べていません。公開ログの証拠が示すのはわずかな取得です。ページは Claude-SearchBot と Claude-User のために書き、llms.txt は読むツールのために置いてください。

Anthropic が文書化していること

出典はヘルプセンターの 1 本の記事「Does Anthropic crawl data from the web, and how can site owners block the crawler?」で、最終更新は 2026 年 4 月 7 日です。サイト運営者に必要な部分を挙げます。

ClaudeBot は、Anthropic の生成 AI モデルの有用性と安全性を高めるために、学習に寄与し得るウェブの内容を集めます。拒否すると、そのサイトの今後の内容を学習データセットから除外してほしいという意思表示になります。
Claude-User は Claude のユーザーを支えます。人が Claude に質問したとき、このエージェントでウェブサイトにアクセスすることがあります。無効にすると、ユーザーの質問に応じて内容を取得できなくなり、ユーザー主導のウェブ検索での見え方が下がることがあります。
Claude-SearchBotは、ユーザー向けの検索結果の質を上げるためにウェブを巡回します。無効にすると検索のための索引ができなくなり、検索結果での見え方と正確さが下がることがあります。
robots.txt。Anthropic のボットは robots.txt の業界標準の指示に従って「クロールしないで」という信号を尊重します。ブロックは、オプトアウトしたい各サブドメインの最上位にある robots.txt に書きます。
Crawl-delay。非標準拡張の Crawl-delay に対応し、ClaudeBot に 1 秒の遅延を設定する例を示したうえで、適切な場合はこれを尊重して影響を最小限にすると述べています。
IP アドレス。クローラーの IP は claude.com/crawling/bots.json で公開されています。送信元 IP がこの一覧にあれば Anthropic からのクローラーです。IP によるブロックは、正しく動かなかったり持続しなかったりするため、オプトアウトの手段としては推奨されていません。
回避防止。ボットは回避防止技術を尊重し、クロールするサイトの CAPTCHA を突破しようとはしません。

IP ファイルの形は OpenAI や Perplexity のものと同じで、作成時刻と IPv4 プレフィックスの一覧です。違いは、OpenAI がエージェントごとに JSON を公開するのに対し、Anthropic は 3 つのボットをまとめた一覧を 1 つ公開している点です。この記事の確認時点でファイルの日付は 2026 年 10 月 7 日だったので、変わるものとして、範囲を固定せずに取り直してください。

各ブロックが実際にすること

ユーザーエージェント	役割	拒否すると	robots.txt
ClaudeBot	学習に使われ得る内容を集める	今後の内容が学習データセットから除外される。引用には影響しない	尊重、Crawl-delay も
Claude-SearchBot	検索のために内容を索引する	索引されない。検索結果での見え方と正確さが下がることがある	尊重
Claude-User	人が質問したときにページを取得する	その質問に対して内容が取得されない。見え方が下がることがある	尊重（と明言）

多くのサイトが望むのは「学習には使わないでほしい、でも引用はしてほしい」で、Anthropic の分け方ならそれは 2 行の選択です。避けるべき間違いは、名前に Claude を含むものすべてに 1 つの規則をかけること。学習データから抜けるために回答からも消えてしまいます。

OpenAI・Perplexity との違い

ユーザー取得ボット。OpenAI は、ユーザーが起こした操作なので ChatGPT-User には robots.txt の規則が適用されないことがあると述べ、Perplexity も同じ理由で Perplexity-User は一般に robots.txt を無視すると述べています。Anthropic は Claude-User を robots.txt を守るボットの中に挙げています。3 社の中でそう述べているのは Anthropic だけです。
Crawl-delay。Anthropic は対応、OpenAI と Perplexity は文書化しておらず、Google は完全に無視します。サーバーがクロール頻度に敏感なら、robots.txt の 1 行で足りるのはこのベンダーだけです。
学習のオプトアウト。3 社とも学習と検索を分け、学習のブロックは見え方に影響しないと述べています。Anthropic の表現は、ブロックの意味について最も明示的です。今後の内容を学習データセットから除外する、と。
文書化されていないこと。Anthropic は Claude-SearchBot の再クロール頻度、robots.txt の変更が反映されるまでの時間、JavaScript を描画するかどうかを述べていません。OpenAI は robots.txt の変更に約 24 時間、Perplexity は最長 24 時間としています。1 日と見込んでログで確かめてください。

各社のユーザーエージェントをまとめた表はクローラー一覧の記事に、そもそもなぜ 3 つの役割に分かれているのかは Googlebot との比較記事にあります。

robots.txt のレシピ 2 つ

引用はしてほしい、学習には使わないでほしい。3 つのどれもワイルドカードに落ちないよう、グループを明示します。

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

すべて許可するが、学習クローラーの速度は落としたい。遅延は名前つきのグループに置きます。Google は無視しますし、ワイルドカードの Crawl-delay はツールを混乱させます。

User-agent: ClaudeBot
Crawl-delay: 5
Allow: /

robots.txt はホストごとだということも忘れずに。Anthropic のページは、オプトアウトしたいすべてのサブドメインの robots.txt でブロックを繰り返すよう述べているので、docs.example.com と example.com にはそれぞれ必要です。

llms.txt が Claude に対して変えること

Anthropic は platform.claude.com で開発者向けドキュメントの llms.txt を公開しています。この記事の確認時点では、節ごとにまとめた 760 本の Markdown リンクの索引で、ドキュメント全体を連結した llms-full.txt と、検索用の MCP サーバーへの案内がついていました。ドキュメントを読むツール、つまりコーディングエージェント、エディタ、指示されれば URL を取得できるあらゆるものにとってこの形式が有用だと Anthropic が考えている強い証拠です。

それは、Claude のボットがあなたのサイトのファイルを読むという表明ではなく、クローラーのページは llms.txt にまったく触れていません。ログの証拠も同じ方向を指しています。このサイトの ChatGPT の記事で紹介した 83 サイト・12 週間のパネルでは、Anthropic からの llms.txt 取得は 9 回、robots.txt のリクエストは 3,120 回でした。ゼロではないが、クロール対象でもない、という数字です。

つまりこのファイルが Claude に対して変えることは 2 つあり、どちらも検索索引ではありません。1 つ目は、ユーザーがあなたの URL を Claude や Claude ベースのエージェントに貼ってドキュメントを読むよう頼んだとき、よくできた llms.txt がトップページの代わりに地図を渡せること。2 つ目は、Claude Code などのツールにこのファイルを直接指定できること。Claude-SearchBot に対する表面はページそのものです。HTML の中の文字、最初の段落の答え、すべてに日付。実際に読む相手に向けたファイルの書き方は書き方のガイドにあります。

ログを確かめる

アクセスログで 3 つのユーザーエージェント、ClaudeBot、Claude-SearchBot、Claude-User を検索し、それぞれ週ごとに数えます。
サンプルを claude.com/crawling/bots.json と照合します。Claude のユーザーエージェントを名乗っていても、一覧外のアドレスからのアクセスは Anthropic ではありません。
ClaudeBot が重すぎるなら Crawl-delay を足し、翌週の数を見ます。Claude-SearchBot がまったく現れないなら、robots.txt の手前の層（CDN やファイアウォールのブラウザ以外向け規則）がチャレンジを出していないか確かめます。

最初の確認が、静かに失敗する原因です。チェッカーはボットと同じやり方で robots.txt を取得し、Anthropic の 3 つのエージェントとほかの主要なエージェントが何を読めるかを報告します。

どのボットがサイトに届くか確認する

URL を入れてチェッカーを実行してください。robots.txt を取得し、ClaudeBot、Claude-SearchBot、Claude-User をはじめ主要な AI ユーザーエージェントが何を読めるかを、生成した llms.txt の下書きと合わせて報告します。

チェックを実行 →

FAQ

ClaudeBot をブロックすると、Claude はサイトを引用しなくなりますか？

なりません。Anthropic のヘルプセンターは、ClaudeBot を拒否することは、そのサイトの今後の内容をモデルの学習データセットから除外してほしいという意思表示だと説明しています。見え方を左右するのは残りの 2 つです。検索のために内容を索引する Claude-SearchBot と、人が Claude に質問したときにページを取得する Claude-User です。こちらをブロックすると、ユーザーの検索結果での見え方が下がることがあると Anthropic は述べています。

Claude-User は robots.txt を守りますか？

守る、と Anthropic は述べています。ヘルプセンターは、Anthropic のボットは robots.txt の業界標準の指示に従って「クロールしないで」という信号を尊重すると書き、Claude-User をほかの 2 つと並べて挙げています。これは OpenAI や Perplexity がユーザー起点の取得ボットについて述べていることより強い約束です。両社のものは、ユーザーが求めたからという理由で robots.txt を無視し得ると文書化されています。

Anthropic は Crawl-delay に対応していますか？

しています。ヘルプセンターは、robots.txt の非標準拡張である Crawl-delay に対応すると述べ、ClaudeBot に 1 秒の遅延を設定する例を示しています。Google は Crawl-delay を無視するので、この規則はワイルドカードではなく Anthropic のボット名を指定したグループに置いてください。

リクエストが本当に Anthropic からのものか、どう確かめますか？

送信元 IP を claude.com/crawling/bots.json で公開されている一覧と照合します。作成時刻と IPv4 プレフィックスの一覧からなる JSON です。送信元 IP がこの一覧にあれば Anthropic からのクローラーだと Anthropic は述べています。オプトアウトには IP ブロックではなく robots.txt を推奨しています。IP をブロックするとボットが robots.txt そのものを読めなくなるからです。

Claude は私のサイトの llms.txt を読みますか？

Anthropic はそう述べておらず、クローラーの文書もこのファイルに触れていません。Anthropic は自社の開発者向けドキュメントの llms.txt を公開していますが、それはドキュメントを読むツールにとってこの形式が有用だと考えている証拠であって、Claude-SearchBot があなたのサイトのファイルを使うという意味ではありません。数えた公開ログのパネルでは、Anthropic のエージェントによる llms.txt の取得は 83 サイト・12 週間で 9 回、robots.txt のリクエスト 3,120 回に対してでした。

では Claude 向けには何をすればいいですか？

Claude-SearchBot と Claude-User を許可し、ClaudeBot は別に判断し、重要なページが HTML の文字で質問に答えるようにし、事実のすべての複製を一致させます。llms.txt は、読むコーディングエージェントやドキュメントツールのための安価な追加として公開します。そのうえでログで 3 つのユーザーエージェントを確認し、bots.json で検証してください。

次に読む

→ AI クローラー一覧と robots.txt の書き方（各社のエージェントを 1 つの表に）
→ AI クローラーと Googlebot は何が違うのか（学習・検索・ユーザー取得がなぜ別の役割なのか）
→ ChatGPT は llms.txt を読んでいるのか（上で引いたログ調査）
→ Learn の記事一覧