Google’da tarama, indeksleme ve canonical sinyalleri nasıl ayırt edilir

Google’da bir sayfanın neden görünmediğini anlamak için önce tek bir etikete bakmak yetmez; tarama, indeksleme ve canonical sinyallerini birlikte okumak gerekir. Bu yazı, robots.txt, sitemap, noindex, rel=canonical ve Search Console raporlarının hangi soruyu cevapladığını ayırarak teşhis yapmayı kolaylaştırır.

Buradaki temel fikir şudur: Google önce sayfaya erişebilir mi, sonra içeriği indekslemeye uygun mu, en sonunda da benzer URL’ler arasında hangi sürümü canonical seçecek diye karar verir. Aynı sayfa bu üç aşamada farklı bir sonuca takılabildiği için, sorunu doğru sinyale bağlamadan yapılan değişiklikler çoğu zaman işe yaramaz.

Google’da tarama, indeksleme ve canonical sinyalleri nasıl ayırt edilir?​

Tarama, indeksleme ve canonical birbirine yakın görünse de aynı şey değildir. Tarama, Googlebot’un sayfayı isteyebilmesiyle ilgilidir; indeksleme, sayfanın arama dizinine alınmasıyla ilgilidir; canonical ise benzer URL’ler arasında Google’ın hangi sürümü ana kabul edeceğiyle ilgilidir.

Bu ayrımı doğru yapmak önemlidir, çünkü bir sayfa taranıyor ama yine de indekslenmiyor olabilir; ya da indeksleniyor ama tercih edilmeyen bir URL sürümü olarak kümeleniyor olabilir. Sorunun hangi aşamada olduğunu anlamak için önce her sinyalin görev alanını netleştirmek gerekir.

Tarama sinyali neyi söyler?​

Tarama, Google’ın sayfayı isteyip isteyemediğini anlatır. robots.txt, bu aşamada önemli bir kontrol noktasıdır; çünkü Googlebot’un hangi URL’lere erişebileceğini sınırlar. Ancak robots.txt’nin amacı tek başına bir sayfayı sonuçlardan gizlemek değildir.

Bir URL robots.txt ile engellense bile, başka sayfalardan bağlantı alıyorsa Google URL’yi yine keşfedebilir. Bu yüzden tarama engeli gördüğünüzde ilk soru, sayfanın hiç bulunup bulunmadığı değil; Googlebot’un içeriğe gerçekten erişip erişemediğidir.

İndeksleme sinyali neyi söyler?​

İndeksleme, sayfanın arama dizinine girip girmediğini anlatır. Bunun için sayfanın Googlebot tarafından engellenmemesi, HTTP 200 döndürmesi ve indexlenebilir içerik sunması gerekir. Bu koşullar sağlanmadan bir sayfanın dizine girmesi beklenmez.

Burada önemli ayrım şudur: Taranabilen her sayfa indekslenmez ve indekslenmeye uygun her sayfa da mutlaka görünür sıralama almaz. İçerik değeri, kullanıcı talebi ve benzer sayfalarla ilişkisi de son kararı etkiler.

Canonical sinyali neyi söyler?​

Canonical, aynı ya da çok benzer içerikli URL kümelerinde Google’ın hangi sürümü tercih ettiğini anlatır. Google, sayfaları kümeler ve sinyallere bakarak en kullanışlı olanı canonical olarak seçer. Bu seçimde HTTP/HTTPS durumu, yönlendirmeler, sitemap’te yer alma ve rel=canonical işaretleri rol oynar.

Bu nedenle canonical etiketi bir emir gibi değil, güçlü bir öneri gibi düşünülmelidir. Yanlış canonical, doğru sayfanın yerine başka bir sürümün seçilmesine yol açabilir; ama tek başına canonical yazmak da son kararı garanti etmez.

robots.txt, noindex ve sitemap aynı sorunu çözmez​

Bu üç araç sık karıştırılır, çünkü hepsi Google’ın sayfayı nasıl işleyeceğini etkiler; fakat görevleri farklıdır. robots.txt taramayı kontrol eder, noindex indekslemeyi engeller, sitemap ise keşfi kolaylaştırır.

Sorunu yanlış araçla çözmeye çalışmak yaygın bir hatadır. Örneğin bir sayfa sonuçlarda görünmesin istiyorsanız robots.txt her zaman doğru araç olmayabilir; Google’ın sayfayı görmesini ama dizine almamasını istiyorsanız noindex daha uygun olur. Sitemap ise bir engel kaldırmaz, sadece Google’a yol gösterir.

robots.txt ne zaman kullanılır?​

robots.txt, özellikle gereksiz taramayı azaltmak veya sunucu yükünü kontrol etmek için kullanılır. Aynı zamanda önemli olmayan ya da tekrar eden URL’lerin taranmasını sınırlamada işe yarar. Fakat bu dosya, tek başına bir sayfayı arama sonuçlarından gizlemenin güvenilir yolu değildir.

Google, robots.txt ile engellenmiş bir URL’yi yine de başka yerlerden bulabilir. Bu yüzden amaç görünürlüğü azaltmaksa robots.txt değil, indeksleme kontrolü düşünülmelidir.

noindex ne zaman kullanılır?​

noindex, sayfanın taranmasına izin verip indekslenmesini istemediğiniz durumlarda kullanılır. Bu, arama sonuçlarında görünmesini istemediğiniz ama Google’ın içeriği görebilmesinin sorun olmadığı sayfalarda anlamlıdır.

Yani tarama ile indeksleme aynı şey olmadığı için, noindex çoğu zaman doğru araçtır. Sayfanın içerik kalitesi düşükse, kopya sürümse veya aramada yer alması istenmiyorsa sorun taramadan çok indeksleme tarafındadır.

sitemap ne zaman fayda sağlar?​

Sitemap, Google’a hangi URL’lerin önemli olduğunu anlatan bir ipucudur. Özellikle yeni, derin ya da iç bağlantısı zayıf sayfaların keşfedilmesini kolaylaştırabilir. Ancak sitemap göndermek, Google’ın sayfaları mutlaka tarayacağı ya da indeksleyeceği anlamına gelmez.

Bu yüzden sitemap, teşhisin değil keşfin aracıdır. Bir URL sitemap’te var diye sorun çözüldü sayılmaz; robots.txt, indexlenebilirlik ve canonical sinyalleri ayrıca kontrol edilmelidir.

Search Console’da hangi rapora önce bakılmalı?​

Sorunu ayırmanın pratik yolu, önce Page Indexing raporuna sonra Crawl Stats raporuna bakmaktır. İlki hangi URL’lerin neden dizine alınmadığını, ikincisi Googlebot’un siteyi nasıl taradığını anlamaya yardım eder.

Bu ikisi birlikte okunduğunda, sorunun tarama engeli mi, indeksleme tercihi mi, yoksa canonical kümelenmesi mi olduğu daha net görünür. Tek rapora bakmak çoğu zaman eksik teşhis üretir.

Page Indexing raporu neyi gösterir?​

Bu rapor, URL’lerin dizine alınıp alınmadığını ve alınmadıysa hangi nedenle dışarıda kaldığını gösterir. Özellikle noindex, robots.txt engeli, kopya içerik ve başka teknik nedenler burada ayrışır.

Sorunlu URL’lerde ilk amaç, “tarandı mı?” sorusundan çok “neden indekslenmedi?” sorusunu cevaplamaktır. Çünkü bazı durumlarda Google sayfayı görmüş olsa bile dizine almamayı seçebilir.

Crawl Stats raporu neyi gösterir?​

Crawl Stats, Googlebot’un sitenize ne ölçüde ve nasıl eriştiğini gösterir. Taramada belirgin bir düşüş varsa sorun sunucu kapasitesi, gereksiz URL artışı veya yanlış bloklama olabilir.

Bu rapor, özellikle büyük sitelerde faydalıdır. Eğer yeni sayfalar geç keşfediliyorsa, sorun yalnızca indeksleme kalitesi değil, tarama verimliliği de olabilir.

Kanıtları birlikte okuyunca hangi karar çıkar?​

Bir URL taranmıyor ama sitemap’te yer alıyorsa, önce robots.txt ve erişim engelleri kontrol edilir. URL taranıyor fakat indekslenmiyorsa, içerik kalitesi, noindex, kopya sürüm ve canonical sinyalleri incelenir.

Birden fazla benzer URL varsa, Google’ın hangi sürümü canonical seçtiğine bakılır. Eğer beklenen sürüm seçilmiyorsa, yönlendirmeler, sitemap’teki URL ve rel=canonical işaretleri birlikte düzeltilir. Bu, tek bir etiketle değil, sinyal tutarlılığıyla çözülür.

Beklenen sürüm yerine başka URL seçildiyse ne anlaşılır?​

Bu durum genellikle sinyallerin çeliştiğini gösterir. Örneğin sitemap bir sürümü önerirken, rel=canonical başka bir sürümü işaret ediyor olabilir; ya da yönlendirme zinciri farklı bir URL’yi güçlendirebilir.

Google’ın canonical kararı nihai olarak sinyallerin toplamına dayanır. Bu yüzden hedef, Google’a “doğru sürüm budur” demekten çok, aynı sürümü destekleyen tutarlı sinyaller oluşturmaktır.

Kısa karar kuralı​

Eğer amaç taramayı azaltmaksa robots.txt düşünülür. Eğer amaç bir sayfayı sonuçlardan çıkarmaksa noindex düşünülür. Eğer amaç benzer URL’ler arasından tercih edilen sürümü güçlendirmekse canonical ve yönlendirmeler birlikte ele alınır.

Sorun hangi aşamada görünürse görünsün, tek sinyal üzerinden hüküm vermek yerine önce erişim, sonra indekslenebilirlik, sonra tercih edilen URL sırası kontrol edilmelidir. Bu sıra, teşhisi hızlandırır ve yanlış düzeltmeleri azaltır.