Google’da bir sayfanın taranıp neden indekslenmediği nasıl anlaşılır?

Bir sayfanın neden Google’da görünmediğini anlamak için önce taranabiliyor mu, sonra indekslenebiliyor mu ve en son doğru sürüm mü seçiliyor sorularını ayrı ayrı cevaplamak gerekir. En sık hata, robots.txt engelini noindex sanmak ya da canonical sinyalini görünmeme nedeni ile karıştırmaktır.

Bu yazı, Google’ın bir URL’yi nasıl işlediğini adım adım ayırır: erişim engeli, indeksleme sinyali, canonical tercihi ve Search Console’daki doğrulama araçları. Amaç, tek bir sayfanın durumunu tahmin etmek değil; hangi sinyalin sorunu yarattığını ayırabilmek.

Google’da bir sayfanın taranıp neden indekslenmediği nasıl anlaşılır?​

Önce taramayı kontrol edin​

Bir sayfa Googlebot tarafından erişilemiyorsa sonraki sinyallerin çoğu zaten okunamaz. Robots.txt ile engellenen bir URL için Google, sayfanın içindeki noindex etiketini göremez; bu yüzden ilk kontrol her zaman erişimdir. Bu ayrım önemlidir çünkü taranma ile indekslenme aynı şey değildir.

Eğer URL erişilebilir görünmüyorsa, sorun çoğu zaman içerikten çok altyapıdadır. Sunucu yanıtı, yönlendirme zinciri, hata kodu veya robots.txt kuralı taramayı kesebilir. Bu durumda sayfanın arama sonucunda görünmemesi, kalite değil erişim sorunu olabilir.

Noindex ile robots.txt arasındaki farkı ayırın​

Noindex, sayfa tarandıktan sonra Google’a indeksleme yapmamasını söyler. Robots.txt ise taramayı sınırlar. İkisinin sonucu aynı değildir: noindex uygulanmış ama erişilebilir bir sayfa genelde arama sonuçlarından çıkar; robots.txt ile engellenmiş bir sayfa ise etiketi hiç okunamadığı için beklenmedik biçimde sonuçta kalabilir.

Bu yüzden “sayfa neden indekslenmiyor?” sorusu önce şuna dönüşmelidir: Google sayfayı gördü mü, görmediyse neden? Google’ın resmî dokümanları, noindex’in etkili olması için sayfanın erişilebilir olması gerektiğini açıkça belirtir.

Canonical seçimi görünmeme sebebi olabilir mi?​

Evet, özellikle aynı içeriğin birden fazla URL’de bulunduğu yapılarda. Google, çoğu zaman canonical işaretlerine ve diğer sinyallere bakarak tek bir sürüm seçer. Yanlış canonical verilmişse başka bir URL indekslenebilir, sizin beklediğiniz sayfa ise geri planda kalabilir.

Burada kritik nokta şudur: canonical, “bu sürüm daha doğru” sinyalidir; noindex ise “bu sayfayı aramadan çıkar” talimatıdır. Birini diğerinin yerine kullanmak sorunu çözmeyebilir. Google, tek site içindeki canonical seçiminde noindex kullanmayı önermiyor; bunun yerine rel=canonical işaretini tercih ediyor.

Search Console’da hangi rapor neyi gösterir?​

URL Inspection tek sayfanın fotoğrafıdır​

Tek bir URL ile uğraşıyorsanız URL Inspection, Google’ın sayfayı nasıl gördüğünü anlamanın en doğrudan yoludur. Bu araç, erişim, tarama ve seçilen canonical hakkında somut ipuçları verir. Özellikle “Google neden bunu seçti?” sorusunda genel varsayımdan daha faydalıdır.

URL Inspection’ı, canlı sayfa ile Google’ın son gördüğü sürüm arasındaki farkı ayırmak için kullanmak gerekir. Böylece sorun kodda mı, önbellekte mi, yoksa seçilmiş canonical sürümde mi, bunu daha net anlarsınız.

Page Indexing ve Crawl Stats birlikte okunmalıdır​

Page Indexing raporu, Google’ın hangi sayfalarda noindex gördüğünü ve hangi URL’leri indeks dışı bıraktığını toplu olarak gösterir. Crawl Stats ise sitenin ne kadar tarandığına, tarama davranışının yoğunlaşıp yoğunlaşmadığına ve kaynakların nereye gittiğine dair bağlam sağlar.

Bu iki rapor birlikte kullanıldığında, tekil hata ile site ölçekli sorun ayrılır. Örneğin birkaç URL’de sorun varsa sorun büyük olasılıkla yapılandırmadır; birçok bölümde gecikme varsa tarama bütçesi, içerik tekrarları veya site içi bağlantı mimarisi de devreye girebilir.

Sorunu pratikte nasıl ayırırsınız?​

Erişim sorunu, indeksleme sorunu ve seçim sorunu​

Erişim sorunu, Google’ın sayfayı hiç okuyamaması demektir. İndeksleme sorunu, sayfanın okunmasına rağmen indeks dışı kalmasıdır. Seçim sorunu ise Google’ın birden çok sürüm arasından başka bir URL’yi tercih etmesidir.

Bu ayrım olmadan yapılan düzeltmeler genellikle yanlış hedefe gider. Robots.txt’yi açıp noindex beklemek, ya da canonical’ı değiştirip erişim engelini bırakmak tipik örneklerdir. Önce sorunun sınıfını belirlemek, sonra müdahale etmek gerekir.

Ne zaman tarama bütçesini düşünmelisiniz?​

Büyük, sık güncellenen veya çok sayıda parametreli URL üreten sitelerde sorun yalnız tek sayfada olmayabilir. Google’ın crawl budget yaklaşımı, tarama kapasitesi ile tarama talebini birlikte ele alır; gereksiz URL’ler fazla taranıyorsa önemli sayfalar gecikebilir.

Bu noktada amaç her URL’yi indeksletmek değil, önemli URL’lerin daha öne çıkmasını sağlamaktır. Fazla üretim yapan filtreler, parametreler, kopya sayfalar veya zayıf iç bağlantılar, Google’ın kaynaklarını gereksiz yere tüketebilir. Böyle bir durumda noindex, canonical ve iç bağlantı mimarisi birlikte düşünülmelidir.