Bir URL’nin neden görünmediğini anlamak için önce tekil URL’yi URL Inspection ile, sonra toplu sinyalleri Page Indexing ve Crawl Stats ile, en son da robots.txt durumunu kontrol etmek gerekir. Böylece tarama engeli, noindex ve teknik erişim sorunu aynı şey sanılmaz.
En kritik ayrım şudur: robots.txt taramayı engeller; noindex ise sayfa erişilebildiğinde görülebilir. Bu yüzden robots.txt engeli varken noindex aramak çoğu zaman yanıltıcıdır. Doğru okuma sırası, önce Googlebot’un sayfaya erişip erişemediğini, ardından indeksleme iznini ve son olarak da site genelindeki tarama desenini anlamaya dayanır.
Eğer sayfa robots.txt ile engellenmişse, araçta indeksleme izni yanıltıcı biçimde açık görünebilir; çünkü Google sayfanın içeriğini okuyamaz. Bu durumda araç sonuçlarını tek başına kesin hüküm gibi okumamak gerekir. Önce erişim, sonra indeksleme sinyali değerlendirilmelidir.
Bu ikisi tek başına çözüm üretmez; sorunun kapsamını belirler. Örneğin birkaç URL’lik bir hata ile site çapında tarama daralması aynı raporda aynı şekilde görünmez. O yüzden önce tek URL testi, sonra grup raporu yaklaşımı daha sağlıklıdır.
Bu yüzden robots.txt kontrolü, URL Inspection ve Page Indexing’den sonra değil; onların sonuçlarını açıklamak için ayrıca okunmalıdır. Eğer robots.txt engeli bulunuyorsa önce bu engelin kasıtlı mı yanlışlıkla mı eklendiği anlaşılmalı, sonra noindex ya da diğer talimatlar değerlendirilmelidir. Aksi halde hata zinciri ters okunur ve yanlış düzeltme yapılır.
Eğer URL Inspection erişim gösteriyor ama indeksleme yoksa sorun çoğunlukla noindex, içerik kalitesi ya da canonical seçimi tarafındadır. Eğer erişim yoksa önce robots.txt veya sunucu engeli düzeltilmelidir. Eğer birçok URL birlikte etkileniyorsa, sorun tek sayfadan çok tarama bütçesi, hata oranı veya site mimarisi ile ilgili olabilir.
En kritik ayrım şudur: robots.txt taramayı engeller; noindex ise sayfa erişilebildiğinde görülebilir. Bu yüzden robots.txt engeli varken noindex aramak çoğu zaman yanıltıcıdır. Doğru okuma sırası, önce Googlebot’un sayfaya erişip erişemediğini, ardından indeksleme iznini ve son olarak da site genelindeki tarama desenini anlamaya dayanır.
Önce tek URL’yi doğrulayın
URL Inspection neyi cevaplar
URL Inspection, tek bir sayfa için Google’ın son gördüğü durumu anlamaya yarar. Burada asıl soru şudur: Googlebot sayfayı alabildi mi, gördüğü içerik neydi ve indeksleme engeli var mıydı? Google’ın yardım metinleri, bu aracın sayfanın erişilebilirliğini ve indekslenebilirliğini test etmek için en güvenilir ilk adım olduğunu açıkça söylüyor.Eğer sayfa robots.txt ile engellenmişse, araçta indeksleme izni yanıltıcı biçimde açık görünebilir; çünkü Google sayfanın içeriğini okuyamaz. Bu durumda araç sonuçlarını tek başına kesin hüküm gibi okumamak gerekir. Önce erişim, sonra indeksleme sinyali değerlendirilmelidir.
Toplu sorunları raporlarda ayırın
Page Indexing ve Crawl Stats ne zaman bakılır
Page Indexing raporu, Google’ın bulduğu ama işleyemediği ya da noindex gördüğü URL gruplarını anlamak için kullanılır. Crawl Stats ise tarama davranışındaki düşüşleri, yanıt sorunlarını ve site genelindeki erişim baskısını görmek için daha anlamlıdır. Tek sayfa yerine çok sayıda URL benzer sorun gösteriyorsa bu iki rapor birlikte okunmalıdır.Bu ikisi tek başına çözüm üretmez; sorunun kapsamını belirler. Örneğin birkaç URL’lik bir hata ile site çapında tarama daralması aynı raporda aynı şekilde görünmez. O yüzden önce tek URL testi, sonra grup raporu yaklaşımı daha sağlıklıdır.
| Araç | Ne için okunur |
|---|---|
| URL Inspection | Tek URL için Googlebot’un erişimi, taraması ve indeksleme izni en net burada okunur. |
| Page Indexing raporu | Google’ın bulup işleyemediği veya noindex gördüğü URL kümelerini toplu gösterir. |
| robots.txt raporu | Tarama engeli varsa önce bunu doğrulamak gerekir; engel noindex’i gizleyebilir. |
| Crawl Stats | Sorun tek sayfa değilse tarama davranışındaki düşüşü ve erişim etkisini anlamaya yardım eder. |
robots.txt sonucunu en sona bırakın
Engel varsa noindex’i neden önce aramamak gerekir
robots.txt, Google’ın sayfayı isteyip isteyemeyeceğini belirler. Engel varsa Google sayfayı okuyamaz; dolayısıyla sayfa içindeki noindex kuralını da göremez. Bu, en sık yapılan okuma hatalarından biridir: aslında erişim sorunu varken indeksleme kuralı aranır.Bu yüzden robots.txt kontrolü, URL Inspection ve Page Indexing’den sonra değil; onların sonuçlarını açıklamak için ayrıca okunmalıdır. Eğer robots.txt engeli bulunuyorsa önce bu engelin kasıtlı mı yanlışlıkla mı eklendiği anlaşılmalı, sonra noindex ya da diğer talimatlar değerlendirilmelidir. Aksi halde hata zinciri ters okunur ve yanlış düzeltme yapılır.
Karar sırası kısa eşleştirme
Hangi bulgu ne anlama gelir
Bir sayfa görünmüyorsa pratik okuma sırası şu mantıkla çalışır: önce URL Inspection ile Googlebot’un sayfaya erişimi, sonra Page Indexing ile indeksleme durumu, ardından robots.txt ile tarama engeli ve son olarak Crawl Stats ile site çapındaki desen. Bu sıra, tek tek araçların verdiği parçalı bilgiyi yanlış yorumlamayı azaltır.Eğer URL Inspection erişim gösteriyor ama indeksleme yoksa sorun çoğunlukla noindex, içerik kalitesi ya da canonical seçimi tarafındadır. Eğer erişim yoksa önce robots.txt veya sunucu engeli düzeltilmelidir. Eğer birçok URL birlikte etkileniyorsa, sorun tek sayfadan çok tarama bütçesi, hata oranı veya site mimarisi ile ilgili olabilir.
