Robots.txt ve indeksleme: izin verilen sayfa neden eksik görünebilir?

Fiyatlandırma sayfasındaki vaka

Sitelemetry'nin /pricing sayfası HTTP 200 dönüyor ve indekslemeye uygun görünüyordu; ancak Google'ın canlı render testi fiyat kataloğunu doğru gösteremiyordu. Görünen sayfa, herkese açık /api/plans yanıtına bağlıydı. Geniş Disallow: /api/ kuralı bu bağımlılığı da kapsadığı için yalnız sayfaya izin vermek yeterli değildi.

12 Eylül 2026'da dar bir Allow: /api/plans$ istisnası eklendi. Sonraki Google canlı testi fiyat kartlarını gösterdi ve sayfayı indekslenebilir bildirdi. Ardından indeksleme isteği gönderildi. Bu gözlemler “render engeli düzeltildi” sonucunu destekler. “Sayfa artık indekslendi” veya trafik artışı iddiasını desteklemez. Düzeltme için özel hesap uç noktalarının açılması gerekmedi.

Üç ayrı soru sorun

Taranabilir mi? Robots kuralları destekleyen tarayıcılara hangi yolları alabileceklerini söyler. İçeriği oluşturulabilir mi? Betik, stil ve açık veri bağımlılıklarının da erişilebilir olması gerekir. İndekslendi mi? Bu, başarılı HTTP yanıtının çözemeyeceği ayrı arama motoru kararıdır.

Google'ın robots.txt açıklaması, taramayı engellemenin URL'yi sonuçlardan kaldırmak için güvenilir yol olmadığını belirtir. İndeksten hariç tutmak gerekiyorsa uygun noindex yönergesi kullanın ve tarayıcının onu almasına izin verin; robots engeli yönergenin görülmesini önleyebilir. İkisini birleştirmeden Google'ın noindex rehberini okuyun. Hassas bilgileri bu iki mekanizmadan bağımsız gerçek erişim kontrolleriyle koruyun.

Sayfayı ve bağımlılıklarını denetleyin

1. Tam sayfa URL'sini, son yönlendirme hedefini, yanıt durumunu ve içerik türünü inceleyin. Hem robots meta yönergelerini hem ilgili HTTP başlıklarını kontrol edin.
2. Doğru origin'in robots dosyasını okuyun. Bir Allow: / satırına güvenmek yerine uygulanan user-agent grubunu ve eşleşen yol kurallarını belirleyin.
3. Sunulan HTML'yi normal tarayıcıdaki anlamlı içerikle karşılaştırın. Eksik bölümleri oluşturan betik, stil veya açık veri isteklerini listeleyin.
4. Etkilenen URL'yi Google canlı testiyle inceleyin; render edilmiş HTML'yi, ekran görüntüsünü ve varsa kaynak hatalarını kontrol edin.

Statik kontrol şüpheli kuralı gösterebilir; Google'ın render motorunu çalıştırmaz. Google JavaScript SEO belgesi tarama, render ve indekslemeyi ayrı aşamalar olarak anlatır. Hangi kanıtın eksik olduğuna bu modelle karar verin.

Gerekçeli en küçük değişikliği yapın

Önce engellenen kaynağın gerçekten herkese açık olup olmadığını ve indekslenebilir sayfayı anlamak için gerekip gerekmediğini belirleyin. Bu vakada müşteri verisi değil, açık paket kataloğuydu. İlgili kural parçası şöyle oldu:

User-agent: *
Disallow: /api/
Allow: /api/plans$

Bu odaklı bir örnektir; robots dosyasının tamamının yerine geçmez. Google en özgül eşleşen yolu kullanır; $ bitiş eşleşmesini belirtir. Bu nedenle istisnanın sorgu varyantlarını veya alt yolları kapsadığını varsaymayın. Tam istek URL'sini Google robots belirtimine göre kontrol edin.

Geniş engelin yerine bütün API uç noktalarını açmayın. Temel açık içeriği ilk HTML'de sunmak başka bir seçenektir. Sayfanın bağımlılıklarına göre karar verin ve uygulamanın yetkilendirmesini koruyun.

Yalnız dosyayı değil, değişen davranışı test edin

Güncel robots dosyasının herkese açık okunabildiğini ve istenen kuralları içerdiğini doğrulayın. Gerekli açık kaynağın beklenen veriyi hâlâ döndürdüğünü kontrol edin. Ardından canlı sayfa testini tekrarlayıp gerçek içeriğe bakın: fiyat kartları mı görünüyor, yoksa yalnız boş kapsayıcı veya yükleniyor mesajı mı?

Önce/sonra kanıtını ve tarihi kaydedin. Başka kaynak hatalarının kalıp kalmadığını kontrol edin. Canlı test başarılıysa indeksleme isteği uygun bir sonraki adım olabilir; ancak indekslenmiş sonucu ayrıca izleyin. Başarılı canlı test güncel alma ve render koşullarını anlatır; indekslemenin tamamlandığını kanıtlamaz. Tekrar tekrar istek göndermek garantili takvim oluşturmaz. Ara sonucu sıralama iddiasına çevirmek yerine düzeltilen davranışı kesin ifade edin.

Sonraki SEO adımını kanıta göre seçin

Bu incelemeyi önce eksik içeriği ürünü açıklayan veya müşterinin kararını destekleyen sayfalara uygulayın. Bozuk fiyat kataloğu, arama etkisini hesaplayacak trafik yokken bile dikkati hak eder. Ardından ilgisiz kuralları tahminen değiştirmek yerine aynı bağımlılık örüntüsü için ilgili şablonları inceleyin.

Önemli açık URL'leri iç bağlantılar ve doğru site haritasıyla keşfedilebilir tutun. Google site haritası rehberi, haritanın keşfi desteklediğini ama tarama veya indekslemeyi garanti etmediğini açıklar. Site haritasını, doğru yanıtı, render edilmiş sayfayı ve indekslenmiş URL'yi ayrı kanıtlar olarak değerlendirin. Birlikte yararlı inceleme izi oluştururlar; hiçbiri gösterim, tıklama veya satın alma sözü vermez.