Google’da bir sayfanın görünmemesini robots.txt, noindex ve canonical ile nasıl ayırt ederim

Google’da bir sayfa görünmüyorsa sorun çoğu zaman tek başına indeksleme değildir; robots.txt, noindex ve canonical farklı aşamalarda çalışır. Bu üçlü arasındaki farkı doğru kurarsanız, sayfanın neden görünmediğini daha hızlı ayırır ve yanlış müdahaleleri azaltırsınız.

Bu yazı, tarama engeli ile indeksleme engelini ve canonical tercihinin ne zaman devreye girdiğini ayırır. Amaç, bir URL’nin neden görünmediğini adım adım sınıflandırmak; yani sorun robots.txt mi, noindex mi, yoksa Google’ın başka bir sürümü canonical seçmesi mi, bunu netleştirmektir.

Google’da bir sayfanın görünmemesini robots.txt, noindex ve canonical ile nasıl ayırt edersiniz​

Google’da bir URL’nin sonuçta çıkmaması her zaman aynı anlama gelmez. Bazen Google sayfayı hiç tarayamaz, bazen tarar ama dizine eklemez, bazen de aynı içeriğin başka sürümünü tercih eder. Bu yüzden ilk soru “neden yok?” değil, “hangi aşamada kayboluyor?” olmalıdır.

İyi ayrım yapmak için üç sinyali ayrı düşünmek gerekir: robots.txt taramayı etkiler, noindex dizine eklemeyi durdurur, canonical ise benzer URL’ler arasında tercih edilen sürümü işaret eder. Yanlış teşhis edildiğinde çözüm de yanlış olur; örneğin tarama engelini noindex sanıp etiketi eklemek, Google’ın etiketi hiç görmemesine yol açabilir.

robots.txt neyi engeller, neyi engellemez​

robots.txt, Googlebot’un belirli URL’lere erişmesini sınırlamak için kullanılır. Bu, tarama tarafında bir kapıdır; dizine alma kararının kendisi değildir. Yani Google bir URL’yi tarayamazsa içeriği, robots meta etiketini veya başka sinyalleri de göremeyebilir.

Bu ayrım pratikte önemlidir. Sayfa robots.txt ile kapalıysa, o sayfaya sonradan eklediğiniz noindex kuralı Google’a ulaşmayabilir. Bu yüzden “Google’da görünmesin” hedefi için robots.txt tek başına doğru araç olmayabilir; ama “önce erişimi kapatayım” senaryosunda yararlı olabilir.

robots.txt kullanıldığında görülen tipik durumlar​

Bazen URL aramada görünür ama Google sayfayı düzenli tarayamaz. Bazen de eski bağlantılar nedeniyle URL sonuçta kalır, fakat yeni içerik okunmaz. Bu durumda sorun genellikle indeksleme değil, erişim kısıtıdır.

Bu yüzden robots.txt denetiminde amaç, sayfayı gizlemekten çok Googlebot’un hangi yolu izleyemediğini anlamaktır. Özellikle önemli içeriklerin yanlışlıkla engellenmesi, görünürlük kaybının en sık teknik sebeplerinden biridir.

noindex neyi yapar, ne zaman çalışır​

noindex, Google’a sayfayı dizine eklememesini söyler. Fakat bunun çalışması için Google’ın sayfayı görebilmesi gerekir. Sayfa robots.txt ile kapalıysa, Google noindex etiketini okuyamaz ve etki beklediğiniz gibi oluşmaz.

Bu nedenle noindex, “tarama serbest ama indeks istemiyorum” durumları için uygundur. Geçici sayfalar, yinelenen arama sonuçları, iç kullanım sayfaları veya yayınlanması gerekmeyen içerikler için tercih edilir. Ancak erişim kapalıysa önce kapıyı açmanız gerekir.

noindex ile robots.txt arasındaki temel fark​

robots.txt taramayı kısıtlar; noindex ise tarama sonrası dizine eklemeyi engeller. Bu fark, sorun giderirken ilk bakılması gereken ayrımdır.

Kısa karar kuralı şudur: Google sayfayı görsün ama sonuçta göstermesin istiyorsanız noindex düşünülür; Google sayfayı hiç gezmesin istiyorsanız robots.txt düşünülür. İki ayar aynı amaç için birebir değiştirilebilir değildir.

canonical ne zaman sorun olur, ne zaman çözüm olur​

canonical, benzer ya da çok yakın içerikli URL’ler arasında tercih edilen sürümü bildirir. Google yine kendi sinyallerine göre karar verir; yani canonical bir emir değil, güçlü bir öneridir. Yanlış URL’ye işaret ederse görünürlük, beklediğiniz sayfa yerine başka bir sürüme toplanabilir.

Bu yüzden canonical, indeksleme engeli değildir. Sayfa indekslenebilir kalabilir ama Google benzer sürümler arasında başka bir URL’yi seçebilir. Böyle durumlarda sorun çoğu kez “sayfa görünmüyor” değil, “doğru URL görünmüyor” olur.

canonical seçerken nelere bakılır​

Canonical kararı verirken içerik benzerliği, dahili bağlantılar, sitemap’taki URL, yönlendirmeler ve sayfanın kendi işaretleri birlikte değerlendirilir. Sadece sayfadaki etikete güvenmek çoğu zaman yeterli değildir.

Eğer aynı içeriğin HTTP ve HTTPS sürümleri, www ve www olmayan sürümleri, parametreli URL’ler ya da mobil ve masaüstü varyasyonları varsa, Google’ın hangi sürümü tercih edeceği ayrıca kontrol edilmelidir. Yanlış kanonik sinyal, indeksleme sorunu gibi görünen bir tercih sorunu yaratabilir.

Hangi işaret hangi sorunu gösterir​

Sorunu doğru sınıflandırmak için önce görünmeme biçimine bakın. URL hiç taranmıyorsa sorun erişim tarafındadır. Tarandı ama dizine alınmadıysa noindex veya kalite/uygunluk tarafı devreye girer. Dizinde var ama başka URL görünüyorsa canonical ve benzer içerik kümeleri kontrol edilir.

Bu sıralama yanlış teşhisi azaltır. Çünkü her durumda ilk müdahale farklıdır: erişim açılır, indeksleme engeli kaldırılır ya da tercih edilen sürüm işaretleri düzeltilir.

Kısa ayırma mantığı​

robots.txt = Google sayfaya gidemiyor.
noindex = Google sayfayı görüyor ama dizine koymuyor.
canonical = Google benzer sürümler arasında başka URL’yi seçiyor.

Bu üç cümle, çoğu teşhiste başlangıç noktasıdır. Ama tek başına yeterli değildir; çünkü Google bazen farklı sinyalleri bir arada değerlendirir ve nihai kararı kendi seçimiyle verir.

Pratik sırayla neyi kontrol etmelisiniz​

İlk kontrol, URL’nin Googlebot tarafından erişilebilir olup olmadığıdır. Sonra sayfada noindex olup olmadığına bakılır. Ardından canonical, sitemap ve benzer URL kümeleri incelenir. Böylece aynı şikâyeti veren farklı teknik nedenleri birbirine karıştırmazsınız.

Bu sırayı korumak önemlidir; çünkü robots.txt ile engellenmiş bir sayfada noindex aramak zaman kaybettirir. Benzer şekilde canonical sorunu olan bir URL’ye noindex eklemek, asıl problemi çözmez. Doğru teşhis, doğru müdahaleden önce gelir.

Bir URL’nin görünmemesi ne zaman normal olabilir​

Her görünmeme durumu hata değildir. Bazı sayfalar bilinçli olarak dizinden çıkarılır, bazı benzer URL’ler bilerek tek sürüme toplanır. Sorun, bu kararın kasıtlı mı yoksa yanlış ayarlanmış mı olduğunu ayırt edememektir.

Bu yüzden “Google’da yok” ifadesini tek başına problem saymak yerine, sayfanın hedefini düşünmek gerekir. Eğer sayfa arama sonuçlarında yer almamalıysa noindex veya erişim kısıtı doğru olabilir; eğer birden fazla URL varsa canonical seçimi hedefe uygun kurulmalıdır.