リファレンス · 読了 9 分

llms.txt の HTTP ヘッダ ―― Content-Type・キャッシュ・リダイレクト

ファイルは Markdown。取得ボットが読めるかどうかを決めるのはヘッダ。使うべき値、仕様が言うこと・言わないこと、大手サイトが実際に送っているもの、自分のサイトを確かめるコマンド。

llms.txt の問題の多くはファイルの中にはありません。ファイルを包むレスポンスにあります。HTML のページを 200 で返すホスト、ファイルをバイナリとラベルづけするバケット、誰も宣言しなかった charset、よそに着地するリダイレクト。バリデーターは見出しを 1 つ読む前に、まず最初の 3 つの検査でこれらを見ます。

このリファレンスは、重要な 4 つのヘッダを扱います。charset を伴う Content-Type、検証子を伴う Cache-Control、リダイレクトが絡むときの Location、そして仕様が 2026 年に加えた任意の Link ヘッダ。それぞれについて、仕様が言うこと、読み手がすること、2026 年 10 月 18 日に 6 つの公開ファイルが送っていたもの、主なホストでの設定方法を示します。確認コマンドは最後にあります。

30 秒で分かる結論:/llms.txt で 200、text/plain か text/markdown に charset=utf-8、BOM なし、1 時間のキャッシュと再検証

ファイルは正規のオリジンのルートで 200 を返し、Content-Type は text/plain; charset=utf-8 か text/markdown; charset=utf-8 のどちらか、保存は BOM なしの UTF-8。public で 1 時間ほどキャッシュし、ETag か Last-Modified を送ってキャッシュが再ダウンロードではなく再検証できるようにします。リダイレクトは http から https、または www と裸のドメインの間の最大 1 回に限り、別ホストへは決して飛ばさない。さらに進めるなら、仕様が説明する Link ヘッダを足して、各ページから Markdown 版とファイルを指せるようにします。

そのうえで本番の URL に curl を 1 回打ち、本文ではなくヘッダを読みます。以下は、この答えの各行がなぜそこにあるかの説明です。

仕様が言うこと、言わないこと

仕様(2026 年 8 月 10 日改訂の第 2 版)は、ファイルが Markdown であること、ルートの /llms.txt か /docs/llms.txt のようなサブパスに置くこと、スケジュールでクロールされるのではなくエージェントが情報を必要としたときに読まれることを述べています。Content-Type には触れていません。サイトが送ってよいリンク関係は説明しています。ページの Markdown 版を指す rel=“alternate” と type=“text/markdown”、そのページをカバーする llms.txt を指す rel=“describedby” で、HTML の link 要素でも HTTP の Link レスポンスヘッダでも送れます。つまりメディアタイプは慣習で、パーサーが受け付けるもので決まり、Link ヘッダが仕様が HTTP に触れる唯一の場所です。

Content-Type:良い値 2 つと悪い値 3 つ

Markdown のメディアタイプは RFC 7763 で登録された text/markdown で、text/plain はほぼすべてのサーバーで .txt 拡張子に対応づけられるものです。読み手はどちらも受け付け、当サイトのバリデーターは text/plain、text/markdown、古い text/x-markdown を合格にします。それ以外は 3 つの失敗の形のどれかに入ります。

レスポンス意味バリデーター直し方
200 の text/htmlホストがフォールバックのページを返した:SPA のシェルか装飾された 404failそのパスに本物のファイルを置く。ホストが未知のルートを拾っていないか確認
application/octet-streamオブジェクトストレージか CDN が拡張子を対応づけなかったwarnオブジェクトかパスのルールで型を設定
Content-Type なし手書きのハンドラかプロキシがヘッダを落としたwarnハンドラでヘッダを足す
text/plain、charset なし、非 ASCII の本文読み手がエンコーディングを推測せざるを得ないwarn; charset=utf-8 を追加
charset=iso-8859-1 や shift_jisバイト列が UTF-8 でも誤って復号されるwarnutf-8 を宣言し、ファイルを UTF-8 で保存し直す

隠れるのは HTML の場合です。取得は成功し、ステータスは 200、ブラウザでも何かが表示されます。ホストによってはフォールバックのページを text 系の型で送るので、バリデーターはヘッダと本文の先頭 512 バイトの両方を見て、doctype や html、head、body タグを探します。確認ツールが text/html と報告したら、ファイルマネージャーに何が見えていようと、その URL に llms.txt はありません。

charset とバイト順マーク

エンコーディングで壊れることは 2 つに分かれます。バイト列がそもそも UTF-8 でない場合、バリデーターは fail にします。Shift_JIS や Latin-1 で保存したファイルは、UTF-8 を前提とするすべての LLM 取得ボットに文字化けとして読まれます。もう 1 つは、バイト列は正しいのに宣言が誤っているか欠けている場合です。utf-8 以外の charset、非 ASCII 文字を含むファイルに charset がない、先頭に UTF-8 の BOM があって厳密なパーサーでは 1 行目が見出しでなくなる。これらは警告です。直し方はどのエディタでも同じで、BOM なしの UTF-8 で保存し、ヘッダに charset=utf-8 を入れます。ASCII だけのファイルに charset は不要ですが、宣言しても損はありません。

Cache-Control:短く、public で、再検証つき

読み手は質問が必要とするときにファイルを取得し、自分の規則で保持します。仕様はキャッシュについて何も言いません。あなたが制御できるのは、あなたと読み手の間にある共有キャッシュと CDN です。この記事のために確認した公開ファイルの形はこうでした。

サイト(2026-10-18)Content-TypeCache-Control検証子
platform.claude.comtext/plain; charset=utf-8public, max-age=3600Last-Modified
developers.openai.comtext/plain; charset=utf-8public, max-age=0, must-revalidateETag、Last-Modified
vercel.comtext/plain; charset=utf-8public, max-age=0, s-maxage=3600, stale-while-revalidate=86400ETag
svelte.devtext/plain; charset=utf-8public, max-age=0, must-revalidateETag、Last-Modified
docs.stripe.comtext/markdown; charset=utf-8(送信なし)(なし)
knownbyllm.comtext/markdown; charset=utf-8public, max-age=3600, s-maxage=86400(なし)

繰り返し現れる形は 2 つです。1 時間の短い正の max-age か、ETag つきの max-age=0 と must-revalidate で、後者はすべての読み取りを安価な条件つきリクエストにします。どちらでも構いません。避けるべきは immutable つきの長い max-age で、ハッシュつきのアセットには正しく、最新であることにしか価値のないファイルには誤りです。去年の料金をまだ載せているキャッシュ済みの llms.txt は、 古い写しの問題の別の形です。CDN がエッジでより長くキャッシュするなら、デプロイ時にそのパスをパージしてください。

リダイレクト:1 ホップ、同じホスト、恒久

どの読み手も少なくとも 1 回のリダイレクトはたどり、バリデーターもたどって最終ステータスを報告します。ファイルが失われる場合はこうです。

  • 別ホスト。あなたのドメインの /llms.txt がコードホストやペーストサービスの生ファイルへリダイレクトする。最終レスポンスには相手ホストのヘッダがつき、型は汎用のものになりがちで、オリジンで 200 を要求する読み手は 3xx で止まります。
  • 連鎖。http から https へ、www へ、末尾スラッシュへ。ホップのたびに、リダイレクト上限の低い取得ボットがあきらめる機会が増えます。1 回にまとめてください。
  • ページへの 302。未知のパスを横取りするログイン壁、地域選択、Cookie の通知。最終の本文は HTML で、ファイルは消えています。
  • 正規ホストの混在。サイトは www にあり、ファイルは裸のドメインにあり、ファイル内のリンクは第 3 の形を使っている。オリジンを 1 つ選び、そこでファイルを配信し、そこへの絶対 URL で書きます。

恒久的な 1 ホップには 301 か 308 を使います。308 はリクエストメソッドを保つので、まず HEAD で探る取得ボットに効きます。バリデーターはリンクを HEAD でサンプルし、サーバーが HEAD を拒めば GET に切り替えます。ほかのツールの振る舞いの妥当なモデルです。

任意の Link ヘッダ

ページが Markdown としても存在するなら、仕様の例は HTML に触れずにそれを伝える方法を示しています。

Link: </docs/page.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"

仕様は、ヘッダ形式は Markdown ファイル自体のような非 HTML リソースにも使え、サーバーや CDN の設定で付けられると注記しています。任意であり、確認時に上の 6 サイトのどれも送っていませんでした。4 つのヘッダが正しくなった後の次の一歩と考えてください。

主なホストでのヘッダ設定

nginx、静的ファイルの場合:

location = /llms.txt {
    types { }
    default_type "text/markdown; charset=utf-8";
    add_header Cache-Control "public, max-age=3600";
}

Netlify、公開ルートの _headers ファイル:

/llms.txt
  Content-Type: text/plain; charset=utf-8
  Cache-Control: public, max-age=3600

Next.js、next.config の中:

async headers() {
  return [
    {
      source: "/llms.txt",
      headers: [
        { key: "Content-Type", value: "text/plain; charset=utf-8" },
        { key: "Cache-Control", value: "public, max-age=3600" },
      ],
    },
  ];
}

ホスト型のビルダーではこれらをたいてい設定できません。各サービスが送るものと、誤っているときのプロキシの選択肢は ルートに置けないサービスの記事にあります。Next.js、Astro、Hugo でのビルド時生成は フレームワークの記事で扱っています。

確かめる

  1. ヘッダだけ、リダイレクトはたどらない。ステータス、Content-Type、Location があれば読みます:
    curl -sI https://example.com/llms.txt
    
  2. リダイレクトをたどり、ホップ数と着地点を報告させます:
    curl -sL -o /dev/null -w '%{num_redirects} %{http_code} %{content_type} %{url_effective}\n' https://example.com/llms.txt
    
  3. BOM を確かめます。先頭 3 バイトが ef bb bf であってはいけません:
    curl -s https://example.com/llms.txt | head -c 3 | xxd
    
  4. 本文がページではなくファイルであることを確かめます:
    curl -s https://example.com/llms.txt | head -n 3
    

バリデーターも同じ 4 つの検査を順に行います。ルートでの配信、Content-Type、エンコーディング、そして Markdown の規則。見たヘッダの値をそのまま報告します。ファイルを編集したときだけでなく、ホスティングを変えるたびに実行してください。

llms.txt を検証する

URL を貼ってください。バリデーターがボットと同じやり方で /llms.txt を取得し、返ってきたステータス、Content-Type、エンコーディングを報告したうえで、Markdown を仕様と照らし、リンクをサンプルします。

検証する →

FAQ

llms.txt の Content-Type は何にすべきですか?

text/plain; charset=utf-8 か text/markdown; charset=utf-8 のどちらかです。仕様はどちらとも決めておらず、パーサーが期待するのはこの 2 つです。この記事のために 2026 年 10 月 18 日に確認した公開ファイルでは、Anthropic、OpenAI、Vercel、Svelte が text/plain、Stripe と当サイトが text/markdown で、すべて charset=utf-8 つきでした。大事なのは text/html でないことです。text/html はほぼ常に、ホストがファイルの代わりにフォールバックのページを返したことを意味します。

ホストが application/octet-stream で配信しています。問題ですか?

たいていはオブジェクトストレージや CDN が拡張子を認識しなかった印です。多くの読み手はそれでもバイト列を解析しますし、当サイトのバリデーターも警告にとどめますが、取得ボットによっては未知のバイナリ型を文字でないものとして読み飛ばします。バケットのメタデータか CDN のルールで型を明示してください。どのプロバイダにも、1 つのパスに対して設定する方法があります。

ファイルが ASCII だけでも charset パラメータは必要ですか?

ASCII だけのファイルには不要です。ファイルに非 ASCII 文字が 1 つでも入ると必要になります。曲がった引用符、アクセントつきの名前、日本語がそうです。charset が宣言されていないと読み手は推測することがあり、推測が外れると文字化けになります。charset=utf-8 を宣言し、ファイルは BOM なしの UTF-8 で保存してください。

llms.txt はキャッシュすべきですか?

短く、はい。ファイルはスケジュールでクロールされるのではなく必要なときに読まれるので、1 時間程度の短い public な max-age に、キャッシュが安く再検証できるよう ETag か Last-Modified を添えるのが一般的な形です。デプロイでそのパスをパージするのでなければ、長い immutable のキャッシュは避けてください。古い llms.txt はアシスタントが最初に読むものです。この記事で確認したファイルの max-age は、must-revalidate つきの 0 から 1 時間の範囲でした。

/llms.txt からのリダイレクトは許容されますか?

http から https へ、または www と裸のドメインの間の 1 ホップなら普通で、どの読み手もたどります。ファイルが失われるのは、別ホストへのリダイレクト、数ホップの連鎖、HTML のページに着地する 302 です。ルートで 200 しか受け付けない読み手はそこであきらめ、最終レスポンスには相手ホストのヘッダーがつきます。ファイルは正規のオリジンに置き、リダイレクトは 301 か 308 の 1 回にしてください。

仕様に出てくる Link ヘッダとは何ですか?

2026 年 8 月に改訂された仕様の第 2 版は 2 つのリンク関係を説明しています。ページの Markdown 版を指す rel="alternate" と type="text/markdown"、そのページをカバーする llms.txt を指す rel="describedby" です。HTML の link 要素としても HTTP の Link レスポンスヘッダとしても送れ、仕様は後者がページに手を入れずにウェブサーバーや CDN の設定で足せると注記しています。任意で、まだ送っていないサイトがほとんどです。

次に読む