robots.txt 与索引：允许抓取的页面仍可能渲染不完整

价格页上实际发生的问题

Sitelemetry 的 /pricing 返回 HTTP 200，并且可以编入索引。但 Google 实时测试中缺少价格目录。页面依赖的公开资源 /api/plans 被通用规则 Disallow: /api/ 阻止。因此，即使 HTML 文档加载成功，也不足以展示完整内容。

2026 年 9 月 12 日，我们添加了精准例外 Allow: /api/plans$。后续 Google 实时测试显示了价格卡片，并判定页面可编入索引；随后提交了索引请求。这证明渲染问题得到修复，不证明索引已经完成或搜索访问有所增加。此次放行不涉及私有账户资源。

分别回答三个问题

抓取工具能否获取 URL？能否加载所需资源并渲染重要内容？搜索引擎之后是否决定把页面编入索引？这三个问题彼此相关，但需要不同的答案和证据。

Google 解释了 robots.txt 的局限：阻止抓取并不是从搜索结果中可靠移除已知 URL 的方法。抓取工具必须能够读取 noindex 指示；同时阻止访问，可能导致它看不到该指示。请参考阻止索引的官方说明。敏感信息还需要真正的访问控制。robots.txt 和 noindex 都不是保护信息免遭未授权访问的机制。

检查页面及其依赖

1. 检查准确 URL 的重定向、状态、内容类型，以及 HTML 和 HTTP 响应头中的索引指示。
2. 读取正确来源的 robots.txt 和针对相关抓取工具的规则。仅看到 Allow: /，不能判断所有更具体的路径规则。
3. 比较初始 HTML 与正常浏览器显示，找出重要内容需要的 JavaScript、样式表和公开数据。
4. 在 Google 实时测试中检查渲染后的 HTML、页面图像和失败资源。查看实际内容，不要只看有利的整体状态。

静态审计不是 Google 渲染器。Google 的 JavaScript SEO 基础文档解释了这些处理阶段。缺乏证据时，应把该项保留为待验证事项。

进行最小且适当的修改

先确认资源应该公开，并且确实是页面内容所必需。本案例涉及的是公开的套餐目录，而不是客户数据。相关规则片段如下：

User-agent: *
Disallow: /api/
Allow: /api/plans$

这不是可以直接整体替换的完整 robots.txt。Google 使用最具体的匹配规则；$ 表示 URL 结尾，因此带查询参数的变体和子路径不会自动全部覆盖。请根据官方规则规范核对行为。不要一概开放全部 API。根据网站结构，也可以考虑直接在初始 HTML 中提供重要内容。身份验证和权限控制仍然必要。

用 Google 复测，准确描述结果

首先确认 robots.txt 可获取，目标资源也返回预期的公开数据。然后重复实时测试，检查显示的是否是真正的价格卡片，而不是占位内容或加载指示。记录测试时间、可见内容及仍存在的资源错误。

如果符合页面当前状态，可以随后请求编入索引。但索引状态仍应与实时测试结果分开记录。获取成功和渲染正确，不表示 URL 已经进入索引。重复提交请求也不会保证时间或排名。此案例中有依据的表述是：实时测试能够显示之前缺失的价格目录。

根据影响决定下一步

优先处理因内容缺失而妨碍重要决策的页面，例如比较套餐或了解产品。价格展示失效值得修复，不需要声称有很高的搜索量。检查相关模板是否存在相同依赖，而不是随机添加放行规则。

同时提供可访问的内部链接和适当的站点地图。根据 Google 站点地图文档，站点地图帮助发现 URL，但不保证抓取或索引。因此，应分别记录站点地图收录、HTTP 响应、渲染和索引证据。任何单一步骤都不保证展示次数、点击或购买。这样报告才能保持可核实，下一步行动也更明确。