llms.txt 是一个纯 Markdown 文件,你把它放在网站根目录,位置是 /llms.txt,它为 AI 工具提供一份经过策划的最重要页面地图,格式是它们能够以低成本读取的。可以把它看作是为大语言模型而不是搜索爬虫写的目录。它由 Answer.AI 的 Jeremy Howard 在 2024 年末提议,到 2025 年它成为了文档和开发者工具网站中一个静悄悄的标准。这是它是什么、如何编写它,以及它目前是否真的有效的诚实答案。
关键要点:llms.txt 是一份精心策划的 Markdown 地图,用于引导 AI 爬虫访问你最优秀的页面;它成本低廉且值得部署,但目前还没有大型搜索引擎确认使用它。
llms.txt 是什么?
llms.txt 是一个位于网站根目录的 Markdown 文件,列出你的关键页面及简短描述,这样 AI 模型就能找到并理解你的内容,而无需爬取和解析你的完整 HTML。这种格式故意保持简洁:一个 H1 标题是网站或项目名称、一个块引用总结,然后是带标题的链接部分。因为它是 Markdown,模型读取它花费的令牌数比渲染页面少得多,这正是重点所在。你可以在 /llms.txt 看到本网站自己的版本。
llms.txt vs llms-full.txt
区别在于深度。llms.txt 是地图:链接和单行描述。llms-full.txt 是领土:那些页面的实际内容内联到一个文件中,这样模型可以在一次请求中吸收所有内容。使用 llms.txt 作为每个网站都能手动维护的轻量级索引。使用 llms-full.txt 当你想让模型在一次粘贴中掌握你的全部文档时,这更适合文档网站和 API 而不是个人网站或博客。
如何编写 llms.txt 文件
结构是固定且简洁的:
- 以 H1 开头:你的网站或项目的名称。
- 添加引用摘要:一两句话说明网站是什么以及目标受众是谁。
- 在 H2 标题下分组链接:例如关键资源、指南或产品。每个链接是一个 Markdown 链接,后跟冒号和该页面内容的简短描述。
- 精心选择内容:列出你实际想被引用的页面,而不是每个 URL。这是一份编辑文件,不是网站地图。
- 托管在根目录:/llms.txt,以纯文本形式提供,与你的 robots.txt 和 sitemap 放在一起。
个人网站的最小版本是一个 H1 名称、一行摘要和三个部分:关于、主要文章和联系方式。这足以开始,随着你发布内容而扩展。
llms.txt 与 robots.txt 或网站地图相同吗?
不相同。robots.txt 告诉爬虫允许获取什么,网站地图列出所有 URL 供搜索引擎索引。llms.txt 都不是。它是一份精心策划、人工编写的最佳内容指南,格式便于语言模型低成本阅读。robots.txt 是关于权限,网站地图是关于覆盖范围,llms.txt 是关于理解。它们并肩放在一起,其中一个不会替代另一个。
llms.txt 真的有效吗?
老实说,这还不确定。截至 2026 年,没有主要的 AI 提供商公开确认它会读取 llms.txt 来决定引用什么或如何回答,谷歌也表示不会在搜索中使用它。所以把它当作低成本的尝试,而不是经过验证的排名杠杆。优势是真实的但有限:添加很快,它强制你列出最重要的页面,一些 AI 工具和爬虫确实会获取它。缺点只是花几分钟时间来编写。对于已经投入生成式引擎优化和从 SEO 到 AEO 和 GEO 转变的内容网站来说,值得发布,但要清楚地认识到它能做什么和不能做什么。
常见问题
llms.txt 文件有什么用?
llms.txt 文件为 AI 模型提供一份精选的、Markdown 格式的页面地图,展示你最重要的页面,这样它们可以廉价地找到和理解你的内容,而无需解析完整的 HTML。它旨在改进大语言模型和 AI 搜索工具如何读取和呈现你的网站。
llms.txt 放在哪里?
放在你域名的根目录,以纯文本形式在 /llms.txt 提供,与 robots.txt 和你的网站地图放在同一个位置。一些网站还会发布扩展版本 /llms-full.txt,其中包含这些页面的完整内容,便于一次请求就能获取所有内容。
llms.txt 和 robots.txt 是一样的吗?
不是。robots.txt 控制爬虫可以获取哪些 URL。llms.txt 是一份精选的、人工编写的指南,介绍你最好的内容,用 Markdown 格式供语言模型阅读。一个管理权限,另一个帮助理解,所以它们共存而不是相互替代。
谷歌使用 llms.txt 吗?
截至2026年,没有。谷歌已表示不使用llms.txt进行搜索排名,也没有主要AI提供商确认用它来源引用。它仍然是一个低成本、未经验证的约定俗成。添加它是为了获得小幅收益和它强制实现的清晰度,而不是因为它保证可见性。
诚实的总结:llms.txt是一个明智的、廉价的习惯,而不是魔法开关。写一份严谨、精心策划的文件,在发布时保持更新,并将其与AI引擎明确奖励的结构工作配对:干净的schema、答案优先的内容和快速的网站。只有当这片领地值得访问时,地图才有帮助。
