Google’da bir sayfa neden indekslenmez ve nasıl anlaşılır

Google bir sayfayı her zaman tarasa bile indekslemez; önce erişim engeli, sonra sayfa durumu, ardından indekslenebilir içerik ve canonical seçimi birlikte değerlendirilir. Bu yüzden sorun çoğu zaman tek bir etiketten değil, birbirini etkileyen birkaç teknik sinyalden kaynaklanır.

Bu yazı, bir sayfanın neden indekslenmediğini robots.txt, noindex, canonical ve temel erişilebilirlik sinyallerine ayırarak nasıl okuyacağınızı anlatır. Amaç, URL Inspection verisini yorumlamak ve hangi sorunun önce düzeltilmesi gerektiğini görmek.

Google’da bir sayfa neden indekslenmez ve nasıl anlaşılır​

Google önce sayfaya ulaşabilir mi, sonra içeriği okuyabilir mi, en sonunda da bu URL’yi hangi sürüm olarak değerlendirmeli mi diye bakar. Bu sırayı bilmeden yapılan her teşhis, bazen yanlış düğümü çözmeye çalışır.

İndeksleme için önce hangi şartlar gerekir​

Google Search teknik gereksinimlerine göre bir sayfanın indekslenmeye aday olması için Googlebot'un engellenmemesi, sayfanın çalışması ve indekslenebilir içerik taşıması gerekir. Ancak bu üç koşulun sağlanması bile indeksleme garantisi vermez; Google yine de sayfayı dizine almamayı seçebilir.

Pratikte bu, “sayfa açılıyor” bilgisinin tek başına yeterli olmadığı anlamına gelir. Sayfa 200 yanıtı verse bile, içerik zayıfsa, kopya ise ya da Google başka bir URL’yi daha temsilî görüyorsa sonuç değişebilir.

robots.txt, noindex ve canonical nasıl farklı çalışır​

robots.txt taramayı engeller; yani Google sayfanın içeriğini hiç okuyamayabilir. Bu durumda Google, sayfada bulunan noindex gibi diğer direktifleri de göremez. noindex ise tam tersine, sayfa taranabiliyorsa Google’a onu arama sonuçlarında göstermemesi talimatını verir.

Canonical farklı bir amaç taşır: benzer veya yinelenen sayfalarda Google’a hangi URL’nin temsilci olması gerektiğini anlatır. Google bu işaretleri dikkate alabilir ama her zaman sizin seçtiğiniz sürümü seçmek zorunda değildir.

Tarama engeli varsa önce neyi kontrol etmek gerekir​

Bir URL robots.txt ile engellenmişse önce bu engelin neden konduğunu anlamak gerekir; çünkü Google o sayfada noindex ya da başka bir meta direktifi göremeyebilir. Bu yüzden “indekslenmiyor” sonucuna hemen noindex diye yaklaşmak yanıltıcı olabilir.

Buradaki ayrım önemlidir: robots.txt, Google’ın sayfayı görmesini engeller; noindex, sayfayı görebilen Google’a gösterme talimatı verir. Yanlış sırayla düzeltme yapmak, sorunu çözmek yerine sadece bir süre gizleyebilir.

Google neden başka bir URL’yi tercih edebilir​

Benzer içeriklerin bulunduğu sitelerde Google sayfaları kümeler ve en yararlı bulduğu URL’yi canonical olarak seçebilir. Bu seçimde HTTP/HTTPS durumu, yönlendirmeler, sitemap’te bulunma ve rel=canonical işaretleri gibi sinyaller etkili olabilir.

Bu nedenle bir sayfanın taranmış olması, o URL’nin aramada gösterileceği anlamına gelmez. Aynı içeriğin farklı sürümleri varsa Google, kullanıcının görmek istediği ve sistemin daha güçlü bulduğu sürümü öne çıkarabilir.

URL Inspection ekranı neyi ayırır​

URL Inspection, user-declared canonical ile Google-selected canonical ayrımını görmeyi sağlar. Eğer seçtiğiniz sürümle Google’ın seçtiği sürüm farklıysa, sorun çoğu zaman tek sayfada değil, sayfa kümesinin tamamındaki sinyallerde aranmalıdır.

Bu ekranda önemli olan sadece sonuç değil, sonuçların sıralamasıdır. Önce erişim var mı, sonra indekslenebilirlik var mı, sonra hangi canonical seçilmiş, ardından da bu seçimin nedenleri okunmalıdır.

Sorunu doğru sırayla çözmek neden önemlidir​

İlk adımda tarama engeli varsa canonical tartışmak zaman kaybettirir. İlk adımda noindex varsa robots.txt kontrolüyle uğraşmak yerine sayfanın gerçekten dizine alınmaması mı amaçlanmış, buna bakmak gerekir.

Son adımda ise aynı içerik için tek bir güçlü temsilci URL bırakmak gerekir. Aksi halde Google farklı sürümler arasında sinyal bölünmesi yaşar ve indeksleme ile gösterim davranışı beklenenden farklı kalabilir.