Google’da URL Taraması ve İndeksleme Nasıl Okunur?

Google’da bir URL için asıl soru çoğu zaman “neden görünmüyor?” değil, hangi sinyalin taramayı, hangisinin indekslemeyi ve hangisinin tercih edilen sürümü etkilediğidir. Bu farkı ayırınca, yanlış müdahale yapmadan önce robots.txt, noindex, canonical ve URL Inspection sırasını netleştirebilirsiniz.

En sağlıklı okuma, önce URL’nin taranabiliyor olup olmadığını, sonra Google’ın içeriği görüp görmediğini, en son da hangi sürümü tercih ettiğini kontrol etmektir. Böyle bakınca sitemap, robots.txt, noindex ve canonical aynı sepete atılmaz; her biri farklı bir kararı etkiler.

Google’da URL Taraması ve İndeksleme Nasıl Okunur?​

Önce taramayı, sonra indekslemeyi ayırın​

Google bir sayfaya erişemiyorsa sorun tarama katmanındadır; erişiyor ama sonuçta göstermiyorsa sorun indeksleme ya da sunum katmanındadır. Bu yüzden ilk kontrol, URL’nin canlı olarak okunup okunamadığıdır.

robots.txt bir tarama kapısıdır. Sayfayı taramayı durdurabilir, fakat tek başına “bu URL aramada hiç görünmesin” anlamına gelmez. noindex ise Google’a dizine eklememe talimatı verir; bunun çalışması için Google’ın sayfayı görebilmesi gerekir.

robots.txt, noindex ve canonical aynı şey değildir​

Bu üç sinyalin karıştırılması en sık yapılan hatadır. robots.txt tarayıcı erişimini kısıtlar; noindex indeks kararını hedefler; canonical ise benzer URL’ler arasında tercih edilen sürümü bildirir.

Bir sayfa yanlış canonical yüzünden başka bir URL’ye birleştiriliyorsa, sorun tarama engeli değildir. Aynı şekilde noindex ile kapatılmış bir sayfa, robots.txt ile engellenmiş bir sayfa gibi davranmaz; biri taranıp dışlanabilir, diğeri taranamadan dışarıda kalabilir.

Search Console’da hangi rapor neyi söyler?​

URL Inspection ile tek sayfayı kontrol edin​

URL Inspection, Google’ın o sayfayı canlı ve son görülen haliyle nasıl değerlendirdiğini anlamak için ilk duraktır. Özellikle son tarama, seçilen canonical ve dizine alma durumu gibi ipuçları, sorunu hangi katmanda aramanız gerektiğini gösterir.

Tek URL’de sorun varsa önce burada bakmak daha verimlidir. Çünkü toplu raporlar genel eğilim gösterirken, URL Inspection doğrudan ilgili sayfanın durumunu açar.

Page Indexing ve Crawl Stats birlikte okunmalı​

Page Indexing raporu, hangi URL’lerin neden dışarıda kaldığını anlamaya yardım eder. Crawl Stats ise Googlebot’un sitenizde nasıl gezindiğini ve tarama yükünün nerede yoğunlaştığını gösterir.

Bu iki rapor birlikte okunduğunda, bir sayfanın yalnızca dizine alınmadığını değil, neden yeterince taranmadığını da görebilirsiniz. Özellikle büyük sitelerde sorun tek sayfa değil, tarama dağılımı olabilir.

Hangi durumda hangi adım önce gelir?​

Taranmıyorsa robots.txt ve erişim kontrol edilir​

URL Inspection’da tarama yoksa veya robot engeli görülüyorsa önce erişim katmanı düzeltilir. Bu aşamada sitemap, iç bağlantı ve bloklayan kurallar birlikte değerlendirilir.

Bir URL’nin keşfedilmesini istiyorsanız sitemap yardımcı olur; ama sitemap, robots.txt ile kapatılmış ya da erişilemeyen bir URL’yi tek başına kurtarmaz. Önce erişim, sonra keşif, sonra indeksleme gelir.

Taranıyor ama indekslenmiyorsa noindex, içerik ve canonical bakılır​

Google sayfayı tarayıp yine de dizine almıyorsa, noindex etiketi, kopya içerik etkisi, düşük fayda algısı veya yanlış canonical olasılığı yükselir. Bu noktada sayfanın amacı ile Google’ın gördüğü sinyal aynı mı diye bakmak gerekir.

Beklenmeyen canonical seçimi varsa, sayfanın kendi sinyalleri ile site çapındaki yönlendirme ve iç bağlantı yapısı çelişiyor olabilir. Böyle durumlarda “daha çok sitemap gönderme” değil, sinyal tutarlılığı düzeltme daha doğrudur.

Pratik okuma sırası​

Önce görünürlük sebebini sınıflandırın​

İlk karar, URL’nin görünmemesinin tarama, indeksleme ya da tercih edilen sürüm probleminden hangisi olduğudur. Bu ayrım yapıldığında çözüm yolu da sadeleşir.

Ardından yalnız ilgili sinyali değiştirin. Tarama sorunu çözmeden noindex’i tartışmak veya canonical hatasını robots.txt ile örtmeye çalışmak genelde yanlış teşhistir.

Sitemap, tek başına çözüm değil tamamlayıcıdır​

XML sitemap önemli URL’lerin keşfine yardım eder ve Google’a öncelik hakkında ek sinyal verir. Ama içerik erişimi, indekslenebilirlik ve canonical tutarlılığı bozuksa sitemap bunu telafi etmez.

Bu yüzden sitemap’i son hamle değil, sağlam teknik temelin üstüne eklenen destek katmanı gibi düşünmek daha doğru olur. Google Search Console’daki raporlar da bu yüzden birlikte okunmalıdır.