robots.txtとインデックス：許可されたページでも正しく表示されない理由

料金ページで実際に起きたこと

Sitelemetryの/pricingはHTTP 200を返し、インデックス登録可能な状態でした。しかし、Googleライブテストには料金一覧が表示されませんでした。このページが必要とする公開リソース/api/plansが、一般ルールDisallow: /api/でブロックされていたためです。HTML文書を取得できても、内容全体を描画できるとは限りません。

2026年9月12日に、限定的な例外Allow: /api/plans$を追加しました。続くGoogleライブテストでは料金カードが表示され、ページはインデックス登録可能と判定されました。その後、インデックス登録をリクエストしました。これは描画の修正を示す証拠であり、登録完了や検索流入の増加の証拠ではありません。非公開のアカウント用リソースを開放したわけでもありません。

三つの問いを分ける

クローラーはURLを取得できるか。必要なリソースを読み込み、重要な内容を描画できるか。その後、検索エンジンがページをインデックスへ登録するか。この三つは関係していますが、それぞれ別の回答と根拠が必要です。

Googleはrobots.txtの限界を説明しています。クロールを止めることは、既知のURLを検索結果から確実に消す方法ではありません。クローラーはnoindexの指示を読む必要があり、同時にブロックすると読めなくなる場合があります。インデックス登録を防ぐ方法の説明も確認してください。機密情報には、別途実際のアクセス制御が必要です。robots.txtもnoindexも、不正アクセスから情報を守る仕組みではありません。

ページと依存リソースを調べる

1. 正確なURLについて、リダイレクト、ステータス、コンテンツ種別、HTMLとHTTPヘッダーのインデックス指示を確認します。
2. 正しいオリジンのrobots.txtと、対象クローラー向けルールを読みます。Allow: /だけでは、より具体的なパスルールをすべて判断できません。
3. 初期HTMLと通常のブラウザー表示を比較します。重要な内容に必要なJavaScript、スタイルシート、公開データを特定します。
4. Googleライブテストで描画後のHTML、ページ画像、取得に失敗したリソースを確認します。良好な全体ステータスだけでなく、実際の内容を見ます。

静的監査はGoogleのレンダラーではありません。GoogleのJavaScript SEOの基本に処理段階の説明があります。証拠がない項目は、未確認のまま明示してください。

必要最小限の変更を行う

まず、そのリソースを公開すべきか、ページの内容に本当に必要かを確認します。この事例の対象は公開の料金プラン一覧であり、顧客データではありません。関係するルールの抜粋は次のとおりです。

User-agent: *
Disallow: /api/
Allow: /api/plans$

これはそのまま置き換えるための完全なrobots.txtではありません。Googleは一致するルールのうち最も具体的なものを使い、$はURLの末尾を表します。そのため、クエリ付きの変種や子パスまで自動で許可されるとは限りません。公式のルール仕様で確認してください。API全体を一律に開放するのは避けます。構成によっては、重要な内容を初期HTMLに含める方が適しています。認証と権限管理は引き続き必要です。

Googleで再確認し、結果を正確に表現する

最初に、robots.txtが取得可能で、対象リソースが期待する公開データを返すことを確認します。その後ライブテストを再実行し、プレースホルダーや読み込み表示ではなく、実際の料金カードが出ているか調べます。テスト日時、表示内容、残っているリソースエラーを記録してください。

ページの状態に適していれば、その後インデックス登録をリクエストできます。ただし、登録状況とライブテストの結果は分けて管理します。取得成功と正しい描画は、URLがすでに登録済みであることを意味しません。リクエストを繰り返しても、時期や順位は保証されません。この事例で裏付けられるのは「以前表示されなかった料金一覧をライブテストで表示できた」という主張です。

影響に応じて次の作業を決める

プランの比較や商品の理解など、重要な判断に必要な内容が欠けているページを優先します。料金表示が壊れていれば、大きな検索需要を主張しなくても修正する価値があります。無作為に許可ルールを増やすのではなく、関連テンプレートに同じ依存関係がないかを調べます。

アクセス可能な内部リンクと適切なサイトマップも用意します。Googleのサイトマップの説明によれば、サイトマップはURLの発見を助けますが、クロールやインデックス登録を保証しません。そのため、サイトマップへの記載、HTTP応答、描画、登録の証拠を分けて記録します。一つの段階だけで表示回数、クリック、購入が保証されることはありません。こうすればレポートの検証可能性を保ち、次の作業を具体的にできます。