Google’da görünmeyen bir sayfayı robots.txt, noindex ve canonical ile ayırma

Google’da bir sayfanın görünmemesi çoğu zaman tek bir sebepten değil, üç ayrı sinyalin farklı çalışmasından kaynaklanır: robots.txt taramayı, noindex indekslemeyi, canonical ise tercih edilen URL’yi etkiler. Sorunu doğru ayırdığınızda gereksiz düzenleme yapmaz, önce erişim mi yoksa indeksleme mi düzeltileceğini netleştirirsiniz.

Bu yazı, görünmeyen bir URL’yi üç teknik katmana ayırmayı anlatır: Googlebot sayfaya ulaşabiliyor mu, sayfa indekslenmekten mi alıkonuyor, yoksa benzer URL’ler arasında başka sürüm mü seçiliyor? Amaç, aynı semptomun farklı teknik nedenlerini karıştırmadan doğru kontrol sırasını kurmaktır.

Önce Googlebot’un sayfaya ulaşıp ulaşmadığını kontrol edin​

robots.txt bir sayfayı Google’dan gizleyen araç değildir; esas olarak Googlebot’un hangi URL’lere erişebileceğini belirler. Bu yüzden ilk soru, sayfanın taranıp taranmadığıdır. Eğer robots.txt sayfayı engelliyorsa Google, içerikteki noindex gibi indeksleme sinyallerini göremeyebilir.

Bir sayfa erişilebilir değilse sorunun kaynağı çoğu zaman tarama katmanındadır. Bu durumda noindex ya da canonical aramadan önce, engelin gerçekten robots.txt, erişim kısıtı ya da sunucu yanıtı olup olmadığı anlaşılmalıdır. Çünkü taranamayan bir URL için indeksleme sinyali beklemek doğru değildir.

robots.txt engeli ile indekslenmeme aynı şey değildir​

robots.txt, Googlebot’un istekte bulunmasını sınırlar; ama tek başına bir sayfayı indeks dışı bırakmanın güvenilir yolu değildir. Google’ın belgeleri, bir sayfayı Google’da tutmamak için noindex veya parola koruması kullanılmasını söyler.

Bu ayrım pratikte önemlidir: URL görünmüyorsa ve robots.txt engeli varsa sorun taramadadır; URL taranabiliyor ama sonuçta yoksa bir indeksleme sinyali veya canonical tercihi araştırılır. Yanlışlıkla robots.txt ile noindex’i eşdeğer görmek, teşhisi geciktirir.

İkinci olarak noindex sinyalini ve erişilebilirliği ayırın​

noindex, Googlebot sayfayı gördüğünde o sayfayı sonuçlardan çıkarmak için kullanılır. Fakat sayfa robots.txt ile engellenmişse Google bu etiketi okuyamayabilir. Yani noindex, tarama izni olmadan çalışması beklenen bir sinyal değildir.

Bu yüzden bir URL’nin görünmemesi ama teknik olarak açık olması durumunda noindex kontrolü öne çıkar. Eğer sayfa taranabiliyor ve yine de sonuçta yoksa, HTML’deki meta robots etiketi ya da HTTP başlığındaki noindex sinyali kontrol edilmelidir.

Noindex varsa Google sayfayı sonuçtan çıkarır​

Google, noindex kuralını okuduğunda sayfayı arama sonuçlarından çıkarabilir. Bu, sayfanın yalnızca düşük görünürlükte olması değil, doğrudan indeks dışı kalması anlamına gelir.

Burada en önemli sınır şudur: noindex bir tarama kontrolü değil, indeksleme kontrolüdür. Bu nedenle sorunun kaynağını ararken önce sayfanın erişilebilir olup olmadığını, sonra noindex’in gerçekten okunup okunmadığını değerlendirmek gerekir.

Üçüncü olarak canonical seçiminde tercih edilen URL’yi ayırın​

Canonical, Google’a benzer veya yinelenen URL’ler arasında hangi sürümün tercih edilmesi gerektiğini anlatır. Bu sinyal taramayı kapatmaz; aynı içeriğin birden fazla sürümü varsa Google’ın hangi adresi öne çıkarabileceğini yönlendirir.

Bir URL görünmüyor ama aynı içerik farklı bir adreste görünüyorsa sorun canonical seçimi olabilir. Bu durumda asıl soru, sayfanın taranıp taranmadığı değil; Google’ın onu ana sürüm olarak mı seçtiğidir.

Canonical taramayı değil, tercih edilen sürümü etkiler​

Google, kopya ya da çok benzer sayfalar arasında seçim yaparken canonical ipuçlarına bakabilir. Bu yüzden canonical, robots.txt gibi erişimi değil, URL’ler arasındaki tercih ilişkisini yönetir.

Pratik ayrım şudur: robots.txt engeli varsa sayfa taranamaz; noindex varsa sayfa taranıp sonuçtan çıkarılabilir; canonical varsa sayfa var olmaya devam eder ama Google başka sürümü seçebilir. Aynı sorunu bu sırayla okumak, yanlış teşhisi azaltır.

Hangi sırayla kontrol etmelisiniz​

En sağlıklı sıra, önce erişim, sonra indeksleme, sonra canonical kontrolüdür. Böylece bir URL’nin neden görünmediğini tek bir etikete bağlamadan, görünürlüğü gerçekten hangi katmanın sınırladığını anlayabilirsiniz.

Tablodaki kısa ayrım, bu sırayı hızlı karar vermek için özetler. Özellikle benzer içerikli sayfalar, filtreli URL’ler veya teknik olarak kapatılmış sayfalarda bu sıra çok işe yarar.

Kısa karar özeti​

İlk durak her zaman Googlebot’un sayfaya ulaşıp ulaşamadığıdır. İkinci durak, sayfanın indekslenmeye açık olup olmadığıdır. Son durak, Google’ın aynı içeriğin başka bir sürümünü tercih edip etmediğidir.

Bu yaklaşım, görünmeyen her URL’yi aynı problem sanmanızı engeller. Böylece robots.txt, noindex ve canonical arasında doğru müdahaleyi seçersiniz.