Google'da bir sayfa taranıp neden indekslenmez?

Google'da bir sayfanın tarandıktan sonra indekslenmemesi çoğu zaman tek bir hatadan değil, tarama engeli, noindex, canonical seçimi veya kopya sayfa sinyalinden kaynaklanır. Sorunu doğru ayırmak için önce URL Inspection'daki Crawl allowed, Indexing allowed ve canonical alanlarını birlikte okumak gerekir.

Bu yazı, bir URL'nin neden taranıp yine de sonuçlarda yer almadığını adım adım ayırır. Hangi durumda robots.txt'nin, hangi durumda noindex'in, hangi durumda da Google'ın seçtiği canonical'ın belirleyici olduğunu gösterir; böylece yanlış müdahaleyi azaltır.

Tarandı ama indekslenmedi sorununu nasıl ayırırsınız?​

Bir sayfa Search Console'da görünmüyor diye ilk şüphe her zaman aynı olmaz. Önce Google'ın sayfayı tarayıp tarayamadığını, sonra indekslemeye izin verilip verilmediğini, en son da Google'ın hangi URL'yi temsilci saydığını kontrol etmek gerekir.

Tarama engeli ile indeks engelini karıştırmayın​

robots.txt bir sayfanın taranmasını engellerse Google içeriği göremez; bu durumda noindex gibi sayfa içi talimatlar da okunamayabilir. Search Console bunu Crawl allowed alanında gösterir ve bu alan No ise sorun tarama katmanındadır.

Buna karşılık noindex varsa sayfa taranabilir ama indekslenmez. Bu ayrım önemlidir; çünkü robots.txt ile kapatılan bir URL'de Google noindex'i görmeyebilir, fakat noindex doğrudan açık olduğunda indekslemeyi durdurur.

Canonical seçimi ne zaman ana neden olur​

Google, benzer veya kopya sayfalar arasında tek bir canonical URL seçer ve yalnızca o temsilci URL'yi dizine alır. Bu yüzden bir URL'nin görünmemesi her zaman “engellendi” anlamına gelmez; bazen Google daha güçlü temsilciyi seçtiği için diğer adresi dışarıda bırakır.

Özellikle filtreli, parametreli veya birbirine çok benzeyen sayfalarda kullanıcı tanımlı canonical ile Google seçimi aynı olmayabilir. URL Inspection içindeki User-declared canonical ve Google-selected canonical alanlarını birlikte okumak, sorunun etiket mi yoksa seçim mi olduğunu ayırmanın en kısa yoludur.

Kopya URL, yönlendirme ve silinmiş sayfa ayrımı​

Page indexing raporu, URL’nin indekslenmemesinin bazen normal olduğunu açıkça söyler: duplicate URL, redirect veya kaldırılmış sayfa buna örnektir. Bu durumda aradığınız şey bir hata değil, Google’ın hangi URL’yi temsilci kabul ettiğidir.

Redirect veren bir URL genellikle kendisi indekslenmez; hedef URL’nin indekslenip indekslenmediğine bakılır. Bu yüzden “sayfa görünmüyor” şikâyetini tek bir adres üstünden değil, URL ailesi üzerinden okumak gerekir.

URL Inspection ekranında hangi sırayla bakılmalı​

İlk soru Crawl allowed mı? olmalı; bu alan No ise önce robots.txt kontrol edilir. İkinci soru Indexing allowed mı? olmalı; bu alan No ise noindex etiketi veya header aranır. Üçüncü soru ise Google-selected canonical hangi URL’yi işaret ediyor sorusudur.

Bu sırayı tersine çevirmek, yanlış müdahaleye yol açar. Örneğin robots.txt engeli varken yalnızca noindex aramak vakit kaybettirir; benzer şekilde canonical sorunu varken siteyi tarama bütçesiyle açıklamaya çalışmak ana nedeni kaçırır.

Hangi sinyal hangi kararı değiştirir?​

Aynı URL için birden fazla işaret varsa en güçlü sinyal, Google'ın hangi aşamada takıldığını gösteren işarettir. Tarama engeli, indeks engeli ve canonical seçimi farklı düzeltmeler ister; bu yüzden çözüm de aynı değildir.

robots.txt ne zaman değiştirilir​

Eğer amaç sayfayı hem taratmak hem de indeksletmekse robots.txt ile kapatmak yanlış başlangıç olabilir. Search Console yardımı, robots.txt'nin noindex'i görünmez kılabildiğini ve indekslemeyi engellemek için doğru aracın çoğu durumda noindex olduğunu belirtir.

Bu nedenle robots.txt daha çok tarama kontrolü içindir; indeks kontrolü için tek başına yeterli değildir. İçeriğin görünmesini istemiyorsanız, taramayı kapatmadan önce amaç gerçekten tarama bütçesi mi, yoksa sonuçlarda görünmeme mi diye ayırmak gerekir.

noindex ne zaman doğru çözümdür​

noindex, sayfanın taranmasına izin verip sonuçlarda çıkmasını engellemek istediğinizde kullanılır. Bu, düşük değerli arşiv sayfaları, belirli filtre varyasyonları veya geçici olarak dizine alınmaması gereken içerikler için daha doğrudan bir kontroldür.

Ancak noindex'in çalışması için Google'ın sayfayı görmesi gerekir. Sayfa robots.txt ile kapalıysa önce bu kapı açılmadan noindex sinyalinin etkisi sınırlı kalabilir.

Canonical ne zaman tercih edilir​

Benzer sayfalarınız varsa canonical, Google'a hangi URL'nin ana temsilci olduğunu söylemenin yoludur. Ürün varyantları, filtre kombinasyonları veya aynı içeriğin farklı adresleri arasında seçim yaparken canonical kullanmak, indeksin tek adreste toplanmasına yardım eder.

Burada kritik nokta, canonical'ın bir gizleme aracı olmamasıdır. Google bazen kullanıcı tanımlı canonical yerine kendi seçtiği canonical'ı kullanabilir; bu yüzden belgeyi koymak yetmez, sonuçta hangi URL’nin seçildiğini düzenli olarak doğrulamak gerekir.

Pratik kontrol sırası​

Önce URL Inspection’da Crawl allowed sonucuna bakın. Sonra Indexing allowed alanını kontrol edin. Ardından user-declared canonical ile Google-selected canonical alanlarını karşılaştırın. En son Page indexing raporundaki durum etiketini okuyun.

Bu sırayla bakıldığında sorun çoğu kez üç sınıfa ayrılır: tarama engeli, indeks engeli veya temsilci URL seçimi. Ayrım netleştiğinde yapılacak düzeltme de netleşir; böylece aynı URL üzerinde gereksiz yeniden gönderim, gereksiz robots değişikliği ya da yanlış canonical düzeltmesi yapılmaz.