どちらのファイルもドメインのルートに置かれ、プレーンテキスト形式で、どちらもボットに関連しています。ここまでが共通点です。robots.txt はアクセス制御ファイルで、クローラーがどの URL をフェッチできるかを指定します。llms.txt はコンテンツファイルで、AI モデルに対してサイト上で重要なものを整理した明確なマップを提供します。一方は「立ち入り禁止」と言い、もう一方は「ここから始めてください」と言うのです。robots.txt is an access-control file that tells crawlers which URLs they may fetch. llms.txt is a content file that hands AI models a clean, curated map of what matters on your site. One says stay out; the other says start here.
重要なポイント: robots.txt はクローラーが何をフェッチできるかをコントロールし、llms.txt は AI モデルに最初に読ませたいコンテンツをキュレーションします。重複しないため、ほとんどのサイトは両方を配置すべきです。robots.txt controls what crawlers are allowed to fetch, while llms.txt curates which content you want AI models to read first. They do not overlap, so most sites should ship both.
robots.txt が実際に何をするのか
robots.txt は 1994 年から存在し、現在は正式な標準 RFC 9309 です。user-agent でグループ化された allow と disallow のルール群です。適切に動作するクローラーが到着すると、最初に robots.txt を読み込み、あなたが disallow に指定したものはスキップします。これはクロール指示であり、セキュリティの境界ではありません。ボットに対してパスをフェッチしないよう求めるものですが、決意した攻撃者を止めることはできず、それ自体ではページをインデックスから削除しません。RFC 9309. It is a set of allow and disallow rules grouped by user-agent. When a well-behaved crawler arrives, it reads robots.txt first and skips anything you have disallowed. It is a crawl directive, not a security boundary: it asks bots not to fetch a path, it does not stop a determined one, and it does not by itself remove a page from an index.
実用的な用途は限定的でよく理解されています: クローラーをファセット URL パラメータ、管理パス、API ルートから締め出し、サイトマップを指し示すこと。Google からページを削除したい場合は、robots disallow ではなく noindex タグまたは削除申請を使います。disallow されたページは外部リンクからインデックスされる可能性があるためです。
llms.txt が実際に何をするのか
llms.txtはより新しいものです。2024年9月に/llms.txtというMarkdownファイルとして提案されました。このファイルは、大規模言語モデルに対して、あなたのサイトで最も有用なページの簡潔でリンク豊富なインデックスを提供します。クローリング時ではなく推論時に書かれたサイトの、手作りの目次だと考えてください。2,000個のURLの中からどれがあなたの製品を説明しているかモデルに推測させるのではなく、標準的なURLを優先度順にリストアップし、簡潔な説明を付けるのです。proposed in September 2024 as a Markdown file at /llms.txt that gives large language models a concise, link-rich index of your most useful pages. Think of it as a hand-built table of contents for your site, written for inference time rather than crawl time. Instead of a model guessing which of your 2,000 URLs explain your product, you list the canonical ones in priority order, with short descriptions.
2026年時点での正直な立場：llms.txtは実質的な勢いを持つ提案であり、ツール対応が増えていますが、主要なAIプロバイダーのすべてがそれを読むことに約束していないようですし、背後にはRFC 9309に相当するものがまだありません。私はこれを低コストで低リスクのアップサイドだと考えています。午後程度の手間で済み、SEOを傷つけることはできませんし、それを使うことに決めたすべてのモデルの前にあなたの最高のコンテンツを置けます。詳しい方法については、[llms.txtの解説](/blog/llms-txt-explained-2026/)を参照してください。
重要な違い
仕事：robots.txtはアクセスを制限します。llms.txtはコンテンツを推奨します。形式：robots.txtは独自のallow/disallowの文法を使います。llms.txtはヘッディングとリンクを含むプレーンなMarkdownです。タイミング：robots.txtはクローリング時に検索ボットに読まれます。llms.txtは言語モデルによる取得と推論を目的としています。実行：robots.txtは検索エンジンに広く尊重されています。llms.txtは勧告的であり、採用はまだ不均一です。間違える場合のリスク：不適切なrobots.txtルールはサイト全体をインデックスから削除できます。不適切なllms.txtは無視されるだけです。 robots.txt restricts access; llms.txt recommends content. Format: robots.txt uses its own allow/disallow grammar; llms.txt is plain Markdown with headings and links. Timing: robots.txt is read at crawl time by search bots; llms.txt is meant for retrieval and inference by language models. Enforcement: robots.txt is widely respected by search engines; llms.txt is advisory and adoption is still uneven. Risk of getting it wrong: a bad robots.txt rule can deindex your whole site; a bad llms.txt does nothing worse than get ignored.
衝突しますか？両方を持つべきですか？
衝突しません。異なるレイヤーで動作するからです。robots.txtはフェッチレベルでAIクローラーをブロックできます（Google-Extended、GPTBot、その他はあなたがdisallowできるuser-agentsです）。一方、llms.txtはあなたのサイトを読むモデルのためにコンテンツをキュレートします。robots.txtでクローラーをブロックした場合、ボットが十分に遠くまで進んでキュレーションを読めないので、その決定はllms.txtが何を言おうとも優先されます。
ほとんどのコンテンツサイトの場合、答えはシンプルです。パラメータと管理パスを保護し、サイトマップを公開する厳密なrobots.txtを保ち、本当に重要なページをリストするllms.txtを追加してください。AIモデルを完全に遠ざけるのがあなたの戦略なら、それはllms.txtの問題ではなく、robots.txtとuser-agentの問題です。
FAQ
llms.txtはrobots.txtの代わりになりますか？
いいえ。異なる役割を果たします。robots.txtはクローラーがどのURLをフェッチしてよいかを制御します。llms.txtはAIモデルがどのコンテンツを優先すべきかを提案します。robots.txtを削除してllms.txtを追加するとクローリング制御が失われ、パラメータと管理パスが露出してしまいます。
AI クローラーは llms.txt でブロックできますか？
いいえ。ブロックは robots.txt の仕事です。AI クローラーを締め出すには、robots.txt でそれらのユーザーエージェント（GPTBot や Google-Extended など）を disallow してください。llms.txt はアクセス制御機能をまったく持たず、すでにあなたのサイトを読んでいるモデル向けにコンテンツをキュレーションするだけです。
両方のファイルはどこに置きますか？
どちらもあなたのドメインのルートに置きます。/robots.txt と /llms.txt です。それぞれプレーンテキストと Markdown として配信され、独立して配布・更新できます。
llms.txt は SEO に役立ちますか？
直接的には役立ちません。Google のランキングではなく、AI 回答エンジンを対象にしています。現実的な利点は生成検索の可視性です。モデルが llms.txt を使う場合、あなたの最高のページをより速く見つけます。従来のブルーリンクのランキングは動かしませんし、害を与えることもできません。