Google bir sayfayı neden tarar ama indekslemez?

Google bir sayfayı tarayıp indekslemiyorsa sorun çoğu zaman tek bir etiket değil, birkaç sinyalin birlikte verdiği mesajdır. Bu yazı, robots.txt, noindex, yinelenen içerik ve Search Console kontrolü arasındaki farkı ayırarak neyin gerçekten engel olduğunu bulmanıza yardım eder.

Buradaki ana fikir şudur: Google’ın sayfayı bulması, taraması ve dizine alması aynı şey değildir. Sayfanın neden sonuçta görünmediğini anlamak için önce hangi aşamada koptuğunu, sonra hangi teknik sinyalin bunu işaret ettiğini okumak gerekir.

Tarama var ama indeks yoksa hangi sinyal ne anlatır​

Google’ın bir URL’yi ziyaret etmesi, o URL’nin mutlaka dizine ekleneceği anlamına gelmez. Search Essentials, Google’ın bir sayfanın aramada görünmesi için teknik gereksinimler, spam politikaları ve temel en iyi uygulamaları birlikte değerlendirdiğini; SEO başlangıç kılavuzu ise arama motorlarının içeriği anlamasına yardım etmenin hedef olduğunu açıkça söyler. Bu yüzden ilk soru, sayfanın neden “görünmediği” değil, hangi aşamada elendiğidir.

Tarama ve indeksleme arasındaki farkı ayırın​

Tarama, Googlebot’un sayfaya erişip içeriği okuyabilmesidir. İndeksleme ise Google’ın o içeriği arama sonuçlarında kullanmaya değer bulmasıdır. Bir sayfa taranmış olsa bile, kopya bir sürüm gibi görülüyorsa ya da kalite/yararlılık açısından başka bir URL daha güçlü kabul ediliyorsa sonuçta seçilmeyebilir. Bu ayrımı bilmeden yapılan teşhisler genelde yanlış yere gider.

robots.txt neyi engeller, neyi engellemez​

robots.txt dosyası Googlebot’un tarama isteğini sınırlayabilir. Ancak Google’ın teknik dokümantasyonu, robots.txt ile engellenen bir URL’nin yine de arama sonuçlarında bir şekilde görünebileceğini belirtir. Yani robots.txt, çoğu durumda taramayı etkiler; fakat indeksleme ve sonuçta görünme üzerinde tek başına her şeyi açıklayan bir anahtar değildir.

Pratik yorum: Eğer URL taranamıyorsa, içerik sinyalleri tam okunmaz. Ama taranabiliyor olup yine de görünmüyorsa sorun çoğu zaman robots.txt’den değil, noindex, canonical, kopya içerik veya kalite değerlendirmesinden kaynaklanır. Bu yüzden engel türünü ayrı okumak gerekir.

noindex ve canonical aynı şeyi söylemez​

noindex etiketi, Google’a o sayfayı dizine eklememesi gerektiğini açıkça söyler. Canonical ise benzer sayfalar arasında tercih edilen sürümü işaret eder; bu, sayfanın mutlaka silineceği anlamına gelmez. Bir URL noindex almış olabilir ama canonical başka sürüme işaret edebilir; bu durumda sorun indeksleme talebinden çok URL seçimi olur.

• noindex = bu sayfa sonuçlarda yer almasın mesajı
• canonical = benzer sürümler arasından tercih edilen adres mesajı
• robots.txt = tarama erişimiyle ilgili kısıtlama mesajı

Sorunu hangi araçla kontrol edeceğinizi nasıl belirlersiniz​

Search Console, Google’ın sayfayı nasıl gördüğünü anlamak için temel araçtır. Google’ın dokümanlarında Search Console’un site performansını anlamaya, indeks sorunlarını okumaya ve görünürlük problemlerini incelemeye yaradığı vurgulanır. Bu yüzden “sayfa neden yok” sorusunda ilk durak, tahmin değil URL Denetimi olmalıdır.

URL Denetimi ne zaman yeterlidir​

Tek bir URL’nin neden görünmediğini anlamaya çalışıyorsanız URL Denetimi genelde ilk adımdır. Burada amaç, sayfanın taranıp taranmadığını, dizine eklenip eklenmediğini ve Google’ın hangi sinyalleri dikkate aldığını okumaktır. Eğer sorun tekil bir sayfadaysa, site genelindeki raporlardan önce bu kontrol daha hızlı sonuca götürür.

Site haritası ne zaman işe yarar​

XML sitemap, Google’ın önemli URL’leri keşfetmesine yardım eder; fakat tarama ya da indeksleme için garanti vermez. Yeni sayfalar, derin yapıda kalan URL’ler veya iç linki zayıf sayfalar için faydalıdır. Ancak sayfanın neden seçilmediğini anlamak için tek başına yeterli teşhis aracı değildir.

Sık görülen durumları hızlıca nasıl ayırt edersiniz​

Aynı belirti farklı sebeplerden doğabilir: tarama engeli, noindex, canonical tercihi ya da kopya içerik. Aşağıdaki özet, hangi sinyalin ne anlattığını kısa biçimde ayırır.

Teknik sinyal ile sonuçtaki davranışı eşleştirin​

Sayfanın sonuçta görünmemesi her zaman site hatası değildir; bazen Google’ın başka sürümü seçmesi veya sayfayı indekslemeye değer bulmaması normaldir. Bu nedenle kontrolü önce “erişim”, sonra “etiket”, sonra “seçim” sırasıyla yapmak daha doğru olur.

Kontrol sırası: önce robots.txt, sonra noindex, ardından canonical ve içerik benzerliği okunmalıdır. Sorun bu dört başlığın dışında kalıyorsa, Search Console’daki durum mesajı ve URL Denetimi çıktısı bir sonraki karar noktasıdır.

Ne zaman içerik tarafına bakmalısınız​

Teknik sinyaller temiz görünüyorsa, asıl soru içeriğin benzerleri arasında neden seçilmediğidir. Google’ın temel dokümanları, kullanıcıların kullanacağı kelimeleri önemli yerlere koymayı, içeriği anlaşılır yapmayı ve arama motorlarının sayfayı anlamasını kolaylaştırmayı önerir. Bu noktada problem artık erişim değil, sayfanın değeri ve ayırt ediciliğidir.

Bu soruda en kısa teşhis yolu nedir​

Önce URL Denetimi ile Google’ın sayfayı görüp görmediğini kontrol edin. Sonra robots.txt, noindex ve canonical sinyallerini okuyun. Eğer teknik tarafta açık engel yoksa, içerik benzerliği ve sayfanın seçilme gerekçesi üzerinde durun. Bu sıra, aynı belirtinin farklı nedenlerini birbirine karıştırmadan ilerlemenizi sağlar.