どちらのファイルもドメインのルートに置かれ、プレーンテキスト形式で、どちらもボットに関連しています。ここまでが共通点です。robots.txt はアクセス制御ファイルで、クローラーがどの URL をフェッチできるかを指定します。llms.txt はコンテンツファイルで、AI モデルに対してサイト上で重要なものを整理した明確なマップを提供します。一方は「立ち入り禁止」と言い、もう一方は「ここから始めてください」と言うのです。
重要なポイント: robots.txt はクローラーが何をフェッチできるかをコントロールし、llms.txt は AI モデルに最初に読ませたいコンテンツをキュレーションします。重複しないため、ほとんどのサイトは両方を配置すべきです。
robots.txt が実際に何をするのか
robots.txt は 1994 年から存在し、現在は正式な標準 RFC 9309 です。user-agent でグループ化された allow と disallow のルール群です。適切に動作するクローラーが到着すると、最初に robots.txt を読み込み、あなたが disallow に指定したものはスキップします。これはクロール指示であり、セキュリティの境界ではありません。ボットに対してパスをフェッチしないよう求めるものですが、決意した攻撃者を止めることはできず、それ自体ではページをインデックスから削除しません。
実用的な用途は限定的でよく理解されています: クローラーをファセット URL パラメータ、管理パス、API ルートから締め出し、サイトマップを指し示すこと。Google からページを削除したい場合は、robots disallow ではなく noindex タグまたは削除申請を使います。disallow されたページは外部リンクからインデックスされる可能性があるためです。
llms.txt が実際に何をするのか
llms.txtはより新しいものです。2024年9月に/llms.txtというMarkdownファイルとして提案されました。このファイルは、大規模言語モデルに対して、あなたのサイトで最も有用なページの簡潔でリンク豊富なインデックスを提供します。クローリング時ではなく推論時に書かれたサイトの、手作りの目次だと考えてください。2,000個のURLの中からどれがあなたの製品を説明しているかモデルに推測させるのではなく、標準的なURLを優先度順にリストアップし、簡潔な説明を付けるのです。
2026年時点での正直な立場：llms.txtは実質的な勢いを持つ提案であり、ツール対応が増えていますが、主要なAIプロバイダーのすべてがそれを読むことに約束していないようですし、背後にはRFC 9309に相当するものがまだありません。私はこれを低コストで低リスクのアップサイドだと考えています。午後程度の手間で済み、SEOを傷つけることはできませんし、それを使うことに決めたすべてのモデルの前にあなたの最高のコンテンツを置けます。詳しい方法については、[llms.txtの解説](/blog/llms-txt-explained-2026/)を参照してください。
重要な違い
仕事：robots.txtはアクセスを制限します。llms.txtはコンテンツを推奨します。形式：robots.txtは独自のallow/disallowの文法を使います。llms.txtはヘッディングとリンクを含むプレーンなMarkdownです。タイミング：robots.txtはクローリング時に検索ボットに読まれます。llms.txtは言語モデルによる取得と推論を目的としています。実行：robots.txtは検索エンジンに広く尊重されています。llms.txtは勧告的であり、採用はまだ不均一です。間違える場合のリスク：不適切なrobots.txtルールはサイト全体をインデックスから削除できます。不適切なllms.txtは無視されるだけです。
衝突しますか？両方を持つべきですか？
衝突しません。異なるレイヤーで動作するからです。robots.txtはフェッチレベルでAIクローラーをブロックできます（Google-Extended、GPTBot、その他はあなたがdisallowできるuser-agentsです）。一方、llms.txtはあなたのサイトを読むモデルのためにコンテンツをキュレートします。robots.txtでクローラーをブロックした場合、ボットが十分に遠くまで進んでキュレーションを読めないので、その決定はllms.txtが何を言おうとも優先されます。
ほとんどのコンテンツサイトの場合、答えはシンプルです。パラメータと管理パスを保護し、サイトマップを公開する厳密なrobots.txtを保ち、本当に重要なページをリストするllms.txtを追加してください。AIモデルを完全に遠ざけるのがあなたの戦略なら、それはllms.txtの問題ではなく、robots.txtとuser-agentの問題です。
FAQ
llms.txtはrobots.txtの代わりになりますか？
いいえ。異なる役割を果たします。robots.txtはクローラーがどのURLをフェッチしてよいかを制御します。llms.txtはAIモデルがどのコンテンツを優先すべきかを提案します。robots.txtを削除してllms.txtを追加するとクローリング制御が失われ、パラメータと管理パスが露出してしまいます。
AI クローラーは llms.txt でブロックできますか？
いいえ。ブロックは robots.txt の仕事です。AI クローラーを締め出すには、robots.txt でそれらのユーザーエージェント（GPTBot や Google-Extended など）を disallow してください。llms.txt はアクセス制御機能をまったく持たず、すでにあなたのサイトを読んでいるモデル向けにコンテンツをキュレーションするだけです。
両方のファイルはどこに置きますか？
どちらもあなたのドメインのルートに置きます。/robots.txt と /llms.txt です。それぞれプレーンテキストと Markdown として配信され、独立して配布・更新できます。
llms.txt は SEO に役立ちますか？
直接的には役立ちません。Google のランキングではなく、AI 回答エンジンを対象にしています。現実的な利点は生成検索の可視性です。モデルが llms.txt を使う場合、あなたの最高のページをより速く見つけます。従来のブルーリンクのランキングは動かしませんし、害を与えることもできません。
関連記事：2026年のGoogle Analytics代替ツール：実際に必要なものから選ぶ、Astroは本当にSEOに向いているのか？大規模運用で学んだこと、およびWordPress。