llms.txt 是什么、不能做什么，以及如何编写

llms.txt 提案规定了什么

Jeremy Howard 于 2024 年 9 月 3 日发布了该提案。llmstxt.org 上的当前文本是第 2 版，修改于 2026 年 8 月 10 日。它是保存在公开 GitHub 仓库中、欢迎社区反馈的非正式概述，不是 IETF 或 W3C 标准，没有任何搜索引擎或 AI 服务商有义务读取它。

该文件是 Markdown，各部分按固定顺序排列：

1. 一个 H1，写网站或项目名称。这是唯一必需的部分。
2. 一个引用块，简要概括关键事实。
3. 可选的段落或列表，提供更多背景，不带标题。
4. 零个或多个 H2 小节，包含文件列表：列表项里放一个链接，后面可以加冒号和说明，例如 - [Pricing](https://example.com/pricing): plans and limits。

名为 Optional 的小节存放次要链接，代理需要更短的上下文时可以跳过。

文件可以放在根目录，也可以放在 /docs/llms.txt 这样的路径下。它覆盖其路径下的 URL；当多个文件同时适用时，代理应使用最具体的那个。提案不使用 /.well-known/，因为 well-known 位置只存在于源站根目录，而许多作者在共享主机上只能控制某个路径。

提案还建议在同一 URL 上提供页面的干净 Markdown 副本：在后面追加 .md（page.html.md），或者从第 2 版起替换扩展名（page.md）。第 2 版新增了两种链接关系，可通过 HTML <link> 元素或 HTTP Link 头发送：rel="alternate" type="text/markdown" 指向副本，rel="describedby" 指向覆盖该页面的 llms.txt。当前文本没有定义 llms-full.txt 这类配套文件；如果某个工具或文档平台生成了它，那是它自己的约定。

llms.txt 与 robots.txt、sitemap.xml 的区别

这三个文件为不同的读者承担不同的工作。

提案也划了同样的界线：robots.txt 说明哪些自动访问是可接受的，而 llms.txt 是按需使用的。它还补充说，站点地图不能替代它，因为站点地图往往没有页面的 Markdown 版本，不包含其他站点上的 URL，而且通常涵盖的内容多于模型上下文窗口所能容纳的。

因此，如果你想允许或阻止某个 AI 爬虫，应修改 robots.txt。不把页面写进 llms.txt 并不会隐藏它，把页面列在其中也不会推翻 robots.txt 中屏蔽某个爬虫的规则。robots.txt 指南解释了规则是如何匹配的。

Google 和 AI 服务商对 llms.txt 的说法

以下是一手资料的说法：

• Google 搜索。其生成式 AI 功能指南（2026 年 7 月 10 日更新）指出，要出现在 Google 搜索（包括其 AI 功能）中，不需要机器可读文件、AI 文本文件或 Markdown，因为搜索不使用它们。指南直接点名了 llms.txt：为使用此类文件的其他服务保留一份没有问题，但它对 Google 搜索中的可见度或排名既无帮助也无害处。
• Chrome Lighthouse。实验性的“代理式浏览”类别（Chrome 150 或更高版本，无 0–100 分数）包含一项 llms.txt 审核，检查域名根目录是否有该文件。服务器错误会被标记；404 会标为不适用，因为提供该文件是可选的。这是开发者工具里的存在性检查，并不表示任何搜索或 AI 产品会使用该文件。
• OpenAI。其爬虫页面说明了 robots.txt 对 OAI-SearchBot（ChatGPT 中的搜索结果）和 GPTBot（训练）的控制，并指出用户发起的 ChatGPT-User 访问可能不遵循 robots.txt。它没有说 OpenAI 会读取网站的 llms.txt。
• Anthropic。其帮助文章列出了 ClaudeBot、Claude-User 和 Claude-SearchBot，并说它们遵守 robots.txt。文中没有提到 llms.txt。
• Perplexity。其文档介绍了用于搜索结果的 PerplexityBot 和由用户触发的 Perplexity-User 抓取器，后者通常忽略 robots.txt。它没有说 Perplexity 会读取网站的 llms.txt。
• Microsoft Bing。没有找到微软或 Bing 关于 llms.txt 的指引。Bing 网站管理员工具 AI Performance 的 2026 年 2 月公告没有提到该文件。

截至 2026 年 10 月 1 日，这些服务商都没有公开说明会把网站的 llms.txt 用于排名、引用或回答。其中几家为自己的开发者文档发布了此类文件（OpenAI、Anthropic、Perplexity 和 Google 的 Gemini API 文档），Cloudflare 也是如此。为自己的文档发布文件，不等于读取其他网站的文件。

什么时候值得添加 llms.txt，什么时候可以先放一放

这个文件写起来成本低，而且据 Google 所说，对搜索没有害处。真正的成本在于保持它的准确。

一个快速判断：开发者会不会把你的 URL 粘贴给编程助手，让它来使用你的产品？如果会，那么花一个下午做出带关键页面 Markdown 副本的 llms.txt 是值得的。如果你希望在本地服务相关的回答中被点名，就把这个下午花在清晰的页面内容和爬虫访问上。如果希望代理直接操作你的产品，而不只是阅读相关介绍，可以考虑提供 API 或 MCP 服务器；MCP 入门解释了它的工作方式。

小型网站的 llms.txt 最小示例

下面是 example.com 上一个假想排班应用的完整文件。各小节标题已译成中文，只有 Optional 保留原名，因为提案为这个确切名称规定了含义：

# 示例排班

> 示例排班是一款在浏览器中使用的应用，帮助小型咖啡馆和商店安排员工班次。免费使用限一个门店，付费后可增加门店。

示例排班不处理工资发放。最后审阅：2026-10-01。

## 文档

- [快速入门](https://example.com/docs/getting-started.md): 创建门店、添加员工并发布第一周的班表
- [班次模板](https://example.com/docs/templates.md): 重复班次、休息时间和顶班规则
- [API 参考](https://example.com/docs/api.md): REST 端点、身份验证和速率限制

## 产品

- [价格](https://example.com/pricing): 各档价格、使用限制以及每一档包含的内容
- [数据与隐私](https://example.com/privacy): 数据存放位置以及如何导出或删除数据

## Optional

- [更新日志](https://example.com/changelog): 按月整理的版本说明

• 以文本形式提供。https://example.com/llms.txt 应返回状态 200 和 Markdown 本身。单页应用有时会用 HTML 外壳响应未知路径，所以请用 curl 检查响应。
• Markdown 副本是可选的。如果不发布副本，就像上面的“产品”小节那样，链接到普通 HTML 页面。
• 摘要要写事实。说明产品是什么、面向谁、有哪些重要限制，不要写口号。
• 写说明，不要写提示词。要求模型推荐你，对读者没有任何可核实的内容。
• 有所取舍。十个好链接胜过两百个；完整的 URL 列表应放在站点地图里。

有了 Markdown 副本后，每个 HTML 页面都可以指向自己的副本和覆盖它的文件：

<link rel="alternate" type="text/markdown" href="/docs/getting-started.md">
<link rel="describedby" href="/llms.txt">

生成器、检查器和验证器：保持文件准确

列着旧价格或已删除页面的文件，可能比没有文件更糟，因为照着它走的代理可能会重复过时的信息。

• 与文档一起构建。如果文档由 Markdown 生成，就在同一个构建步骤里生成 llms.txt 和页面副本。
• 放进发布检查清单。价格、套餐名称、平台或 URL 变化时，在同一次发布中更新该文件。
• 自动检查链接。每个 URL 都应直接返回 200，不经过重定向链。下面这行 shell 命令会打印文件中每个绝对链接的状态码：

curl -s https://example.com/llms.txt | grep -oE 'https://[^) ]+' | while read -r u; do echo "$(curl -s -o /dev/null -w '%{http_code}' "$u") $u"; done

llms.txt 生成器适合根据站点地图或文档目录生成初稿。它无法判断哪些页面重要，还可能包含设为 noindex 或在 robots.txt 中被屏蔽的页面。像审查任何要发布的页面一样审查它的输出。

llms.txt 检查器或验证器可以确认机械层面的内容：文件可访问、H1 在最前面、链接都能打开。没有任何检查器能告诉你助手是否会读取该文件，因为服务商并没有公开说明这一点。

对 AI 回答更重要的事

如果你希望成为 AI 回答中可用的信息来源，以下几点优先：

1. 对你想要的机器人开放抓取。AI 爬虫在 robots.txt 中控制，每个爬虫有自己的 token。OpenAI 把 OAI-SearchBot（ChatGPT 搜索）与 GPTBot（训练）分开，Anthropic 把 Claude-SearchBot 与 ClaudeBot 分开，Perplexity 则记录了 PerplexityBot。Google-Extended token 是 robots.txt 控制项，不是单独的爬虫：它决定 Google 抓取的内容能否用于 Gemini 的训练和 grounding，据 Google 所说，它不影响内容在 Google 搜索中的收录或排名。允许搜索爬虫、同时屏蔽训练爬虫，是合理的选择。请记住，带 Disallow: / 的 User-agent: * 组会屏蔽所有遵循 robots.txt 且没有自己专属组的爬虫。OpenAI 表示，robots.txt 的更改大约需要 24 小时才能传到其系统。
2. 为私密内容设置身份认证。ChatGPT-User 和 Perplexity-User 等由用户触发的抓取器可能不遵循 robots.txt，而 RFC 9309 也说 robots 规则不属于访问授权。
3. 页面上的内容要清晰。Google 针对其 AI 功能的指引强调独特、有用的内容，以及便于发现和索引的清晰技术结构，而不是特殊文件。请在可访问页面的 HTML 中直接回答真实的问题。AI 可见性指南给出了一个示例。
4. 与页面一致的结构化数据。Google 表示，其生成式 AI 搜索不要求结构化数据，也不需要特殊的 schema.org 标记；但它仍建议使用结构化数据以获得搜索中的富媒体结果资格。如果使用 JSON-LD，请让它与页面上可见的事实保持一致。
5. 事实保持一致。名称、价格、套餐、地区和联系方式，应在你的各个页面、结构化数据和 llms.txt 之间保持一致。如果你自己的页面互相矛盾，任何做摘要的系统都只能猜。

没有任何文件能让助手引用你。你能控制的是页面是否可访问、可读取且正确；技术 SEO 指南涵盖了抓取和索引的基础。

Sitelemetry 对 llms.txt 检查什么

Sitelemetry 的 AI 可见性领域是六大领域审计（安全、技术 SEO、AI 可见性、无障碍、性能和集成）的一部分，Starter 套餐起价 $49/月。它的 llms.txt 检查范围很窄：

• 在源站请求一次 /llms.txt，并报告状态和大小。
• 只有同时满足以下条件，文件才算存在：返回 2xx 状态、不为空、不是 HTML，并且看起来像链接指南：有以 # 或 - 开头的行、有 URL，或包含 docs、sitemap 之类的词。文件缺失会以“部分”结果报告，并附带建议。
• 它不验证格式，不跟踪或测试链接，也不声称任何 AI 系统会读取该文件。

同一领域的爬虫访问信号会读取被审计地址对应的 robots.txt，并按 RFC 9309 的描述应用规则：命名该爬虫的组；没有这样的组时使用 User-agent: *；* 和 $ 模式；以及最长匹配规则，长度相同时 Allow 优先。只涉及其他部分（例如 /members/）的规则，不会算在该地址头上。在 AI 爬虫规则中，只有针对 AI 搜索爬虫的规则会降低该信号：OAI-SearchBot、Claude-SearchBot、PerplexityBot、MistralAI-Index、Amzn-SearchBot、meta-webindexer 和 DuckAssistBot，这些都是其厂商为 AI 搜索或回答功能所记录的。从 User-agent: * 继承来的屏蔽同样计入；如果同一屏蔽也适用于 Googlebot，审计只报告一次，归为被屏蔽页面。技术 SEO 领域会把这些规则作为发现项报告，被屏蔽的 AI 搜索爬虫也会降低其得分。其他 AI 规则只作为信息报告，不改变得分：屏蔽 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended 或 CCBot 等训练 token 的组，屏蔽 ChatGPT-User、Claude-User 或 Perplexity-User 等用户请求抓取器的组，以及只提到 Anthropic 旧 token anthropic-ai 或 Claude-Web 的规则（Anthropic 已不再列出它们）。token 列表来自各厂商的爬虫文档，核对日期为 2026 年 11 月 8 日，并未涵盖所有爬虫，不在其中的 token 请自行检查。该领域还会报告 JSON-LD 结构化数据，但不会按 schema.org 验证它。审计读取抽样页面的静态 HTML，不运行 JavaScript，也不会查询 ChatGPT、Claude、Perplexity 或 Google，更不会追踪 AI 回答中的引用。

Free 套餐只包含安全检查；Free 工作区也可以用 AI 可见性领域的审计积分运行这项审计（每个新的 Free 工作区在每个领域各有 1 个积分）。免费的上线准备快照无需注册即可运行八项被动检查；它不查看 llms.txt、robots.txt 或结构化数据，也不是六大领域审计。套餐详情见价格页面。