两个文件都位于你的域名根目录，都是纯文本，都与机器人有关。相似之处到此为止。robots.txt 是一个访问控制文件，它告诉爬虫哪些 URL 可以获取。llms.txt 是一个内容文件，为 AI 模型提供一份整洁、精心策划的网站重点内容地图。一个说"滚出去"；另一个说"从这里开始"。robots.txt is an access-control file that tells crawlers which URLs they may fetch. llms.txt is a content file that hands AI models a clean, curated map of what matters on your site. One says stay out; the other says start here.
关键要点：robots.txt 控制爬虫被允许获取什么内容，而 llms.txt 策划你希望 AI 模型优先阅读的内容。它们不重叠，所以大多数网站应该同时部署两者。robots.txt controls what crawlers are allowed to fetch, while llms.txt curates which content you want AI models to read first. They do not overlap, so most sites should ship both.
robots.txt 的实际作用
robots.txt 自 1994 年以来就存在，现在是正式标准 RFC 9309。它是按用户代理分组的一组允许和禁止规则。当一个表现良好的爬虫到达时，它首先读取 robots.txt 并跳过你禁止的任何内容。这是一个爬取指令，而不是安全边界：它要求机器人不要获取一个路径，但不会阻止有决心的机器人，也不会自动从索引中删除页面。RFC 9309. It is a set of allow and disallow rules grouped by user-agent. When a well-behaved crawler arrives, it reads robots.txt first and skips anything you have disallowed. It is a crawl directive, not a security boundary: it asks bots not to fetch a path, it does not stop a determined one, and it does not by itself remove a page from an index.
实际用途很明确且易于理解：将爬虫排除在分面 URL 参数、管理员路径和 API 路由之外，并将它们指向你的网站地图。如果你想让一个页面不出现在 Google 中，你应该使用 noindex 标签或提交删除请求，而不是 robots 禁止规则，因为被禁止的页面仍然可以通过外部链接被索引。
llms.txt 的实际作用
llms.txt 是较新的。它在 2024 年 9 月提出，作为 /llms.txt 的 Markdown 文件，为大型语言模型提供一个简洁、链接丰富的索引，涵盖你最有用的页面。可以把它看作是为你的网站手工编写的目录，是为推理时刻而非爬虫时刻编写的。与其让模型在你的 2,000 个 URL 中猜测哪些解释了你的产品，不如按优先级顺序列出规范的那些，并附上简短描述。proposed in September 2024 as a Markdown file at /llms.txt that gives large language models a concise, link-rich index of your most useful pages. Think of it as a hand-built table of contents for your site, written for inference time rather than crawl time. Instead of a model guessing which of your 2,000 URLs explain your product, you list the canonical ones in priority order, with short descriptions.
2026 年的现实立场：llms.txt 是一项有实际动力和日益增长的工具支持的提案，但主要的 AI 提供商还没有全部承诺读取它，其背后还没有相当于 RFC 9309 的东西。我把它当作成本低、风险低的额外收益。它只需要花一个下午，不会伤害你的 SEO，并且会把你最好的内容展现在任何选择使用它的模型面前。详细的操作方法，请看我的 [llms.txt 讲解](/blog/llms-txt-explained-2026/)。
重要的区别
作用：robots.txt 限制访问；llms.txt 推荐内容。格式：robots.txt 使用自己的允许/禁止语法；llms.txt 是带有标题和链接的纯 Markdown。时机：robots.txt 在爬虫时刻被搜索机器人读取；llms.txt 是为语言模型的检索和推理而设计的。强制执行：robots.txt 被搜索引擎广泛遵守；llms.txt 是咨询性的，采用情况仍不一致。出错的风险：错误的 robots.txt 规则可能会导致整个网站被去索引；错误的 llms.txt 最多也只会被忽略。 robots.txt restricts access; llms.txt recommends content. Format: robots.txt uses its own allow/disallow grammar; llms.txt is plain Markdown with headings and links. Timing: robots.txt is read at crawl time by search bots; llms.txt is meant for retrieval and inference by language models. Enforcement: robots.txt is widely respected by search engines; llms.txt is advisory and adoption is still uneven. Risk of getting it wrong: a bad robots.txt rule can deindex your whole site; a bad llms.txt does nothing worse than get ignored.
它们会冲突吗？你应该同时拥有两者吗？
它们不会冲突，因为它们在不同的层级上运行。robots.txt 仍然可以在获取层面阻止 AI 爬虫（Google-Extended、GPTBot 等是你可以禁止的用户代理），而 llms.txt 为确实读取你网站的模型管理内容。如果你在 robots.txt 中阻止了爬虫，该决定会覆盖 llms.txt 说的任何内容，因为机器人永远到不了读取管理内容的阶段。
对于大多数内容网站，答案很简单：保持一个严格的 robots.txt 来保护参数和管理路径并暴露你的网站地图，再加上一个 llms.txt 来列出你真正重要的页面。如果你的策略是完全阻止 AI 模型，那是 robots.txt 和用户代理的决定，不是 llms.txt 的事。
常见问题
llms.txt 能替代 robots.txt 吗？
不能。它们做不同的工作。robots.txt 控制爬虫可以获取哪些 URL；llms.txt 建议 AI 模型应该优先考虑哪些内容。删除 robots.txt 来添加 llms.txt 会剥离你的爬虫控制，使参数和管理路径暴露。
我可以用 llms.txt 阻止 AI 爬虫吗？
不能。阻止爬虫是 robots.txt 的职责。要把 AI 爬虫挡在外面，就在 robots.txt 中禁用它们的用户代理（比如 GPTBot 或 Google-Extended）。llms.txt 完全没有访问控制功能；它只是为已经读取你网站的模型精选内容。
这两个文件放在哪里？
都放在你域名的根目录：/robots.txt 和 /llms.txt。它们分别以纯文本和 Markdown 格式提供，你可以独立地部署和更新它们。
llms.txt 会帮助我的 SEO 吗？
不能直接帮助。它针对的是 AI 答案引擎，不是 Google 排名。现实的优势是生成式搜索的可见性：如果某个模型使用你的 llms.txt，它会更快找到你最优秀的页面。它不会改变传统蓝链排名，也不会伤害排名。