robots.txt ile canonical birlikte kullanılırken Google neyi dikkate alır

Google’ın bir URL’yi taramasını engelleyip aynı anda o URL için canonical işareti vermek çoğu zaman beklenenden daha zayıf bir sonuç üretir; çünkü canonical sinyali görünür olmalı, robots.txt ise o görünürlüğü kesebilir.

Bu yazı, tarama engeli ile indeksleme sinyalinin neden aynı şey olmadığını, hangi işaretin neyi etkilediğini ve tek bir tercih edilen URL oluşturmak için sinyalleri nasıl hizalayacağını anlatır.

robots.txt ile canonical birlikte kullanılırken Google neyi dikkate alır​

Google, bir sayfayı tarayabildiği ölçüde içindeki sinyalleri okuyabilir. Bu yüzden robots.txt ile tamamen engellenen bir URL’de, canonical etiketi teknik olarak dosyada dursa bile etkisi beklenen kadar güçlü olmayabilir. En kritik ayrım şudur: robots.txt taramayı sınırlar, canonical ise benzer adresler arasında tercih sinyali verir. Aynı URL hem engellenip hem de tercih edilen sürüm diye işaretleniyorsa, sinyal zinciri kopabilir.

Bu ayrımı anlamak önemlidir; çünkü bazı siteler indeks sorununu yalnızca “canonical ekledim” diye çözdüğünü sanır, bazıları da “robots.txt ile kapattım” diyerek kopya URL sorununu tamamen bitirdiğini düşünür. Oysa Google’ın kararında taranabilirlik, iç bağlantılar, site haritası ve sayfanın gerçekten tekil bir sürüm olarak sunulup sunulmadığı birlikte değerlendirilir.

Robots.txt neyi keser, neyi kesmez​

Robots.txt’nin temel görevi Googlebot’un belirli yolları taramasını sınırlamaktır. Bu, özellikle oturum parametreleri, filtre kombinasyonları, dahili arama sonuçları ve gereksiz çoğalan URL’lerde işe yarar. Ancak bir adresi taramadan çıkarmak, onu otomatik olarak dizinden silmek anlamına gelmez. Google başka sinyallerden o URL’yi keşfederse, sayfayı taramasa bile sonuçta farklı bir görünüm oluşabilir.

Bu nedenle robots.txt, indeksleme kontrolü için tek başına güvenilir bir araç değildir. İndeksten çıkarmak istediğiniz bir sayfada asıl amaç taramayı durdurmak değil, arama sonucuna girmemesini sağlamaksa noindex veya erişim kontrolü daha uygun olabilir. Buradaki seçim, sayfanın kullanıcıya açık kalıp kalmamasına ve gerçekten görünmesini isteyip istemediğinize bağlıdır.

Taramayı durdurmak istediğinizde​

Kullanıcıya hiç hizmet etmeyen, ama teknik olarak üretilebilen URL’lerde robots.txt tercih edilir. Bu tür adresler çoğu zaman crawl bütçesini boşa harcar.

İndeksten çıkarmak istediğinizde​

Sayfa erişilebilir kalsın ama aramada görünmesin istiyorsanız robots.txt yerine indekslemeyi açıkça kontrol eden yöntemler düşünülür.

Canonical hangi durumda gerçekten işe yarar​

Canonical, benzer veya yinelenen sayfalar arasında Google’a “asıl sürüm budur” demenin bir yoludur. En iyi çalıştığı senaryo, Google’ın hem kaynak sayfayı hem de canonical hedefini tarayabildiği ve içeriğin gerçekten aynı ya da çok yakın olduğu durumdur. Parametreli sıralama sayfaları, renk filtreleri, izleme parametreleri veya küçük biçim farkları canonical için tipik örneklerdir.

Canonical tek başına emir değildir; güçlü bir öneridir. İç linkler, site haritası ve sayfa içeriği başka bir sürümü işaret ediyorsa, canonical’ın gücü düşer. Bu yüzden canonical etiketi, site mimarisiyle aynı yönde olmalıdır. Tekrarlayan URL’leri canonical ile toplamak istiyorsanız, önce kullanıcıya gösterdiğiniz ve botun keşfettiği yapıların aynı hedefe akmasını sağlamalısınız.

Engel ve canonical çakışınca ne olur​

En sorunlu senaryo, canonical verdiğiniz sayfayı robots.txt ile kapatmanızdır. Böyle olduğunda Google, canonical hedefini doğrulamak için gereken içeriği göremeyebilir. Sonuçta ya sinyal zayıflar ya da beklediğiniz birleşme gerçekleşmez. Bu nedenle “önce engelle, sonra canonical ile toplar” yaklaşımı çoğu sitede iyi sonuç vermez.

Daha sağlam yaklaşım, önce hangi URL’nin tekil ve tercih edilen sürüm olacağını belirlemektir. Sonra aynı içeriğin kopyalarını mümkünse iç bağlantı, site haritası ve yönlendirme ile azaltmak gerekir. Yalnızca gerçekten gereksiz olan sürümler robots.txt ile sınırlandırılmalıdır. Böylece Google’ın gördüğü sinyaller aynı hedefe işaret eder.

Çakışmayı azaltan pratik sıra​

İlk adım tercih edilen URL’yi belirlemek, ikinci adım kopya kaynaklarını azaltmak, üçüncü adım canonical’ı bu hedefe vermek, dördüncü adım ise gereksiz yolları dikkatli biçimde kapatmaktır.

Sitenin tamamında tek yönlü sinyal kurun​

İç linkler, sitemap ve canonical aynı URL’ye gidiyorsa Google’ın seçimi netleşir. Sinyaller birbirine ters düştüğünde ise en güçlü etkiyi beklemek doğru olmaz.

Parametreler, kopyalar ve crawl bütçesi birlikte nasıl yönetilir​

Filtre, sıralama, oturum ve izleme parametreleri olan sitelerde asıl hedef her varyasyonun ayrı sayfa gibi davranmasını önlemektir. Burada yanlış yapılan şey, her parametreyi robots.txt ile topluca kapatmak ve sonra Google’ın ana sürümü doğru algılamasını beklemektir. Daha doğru yaklaşım, hangi parametrenin içerik ürettiğini, hangisinin yalnızca teknik varyasyon yarattığını ayırmaktır.

Eğer parametreli URL yalnızca küçük bir sıralama farkı, izleme kodu veya görsel durum üretiyorsa canonical çoğu zaman yeterlidir. Ama parametre gerçek anlamda farklı bir içerik doğuruyorsa, canonical ile tekilleştirmek yanlış olabilir. Bu durumda sayfanın amacı yeniden düşünülmelidir; çünkü Google’a aynı içerik gibi gösterilen ama kullanıcının farklı bir sonuç beklediği yapı, indeks ve sıralama karmaşası yaratır.

Tablodaki ayrımlar bu yüzden önemlidir: robots.txt taramayı, canonical tercih sinyalini, noindex ise arama görünürlüğünü yönetir. Doğru araç, sayfanın sorunu hangisiyse ona göre seçilir; tek bir yöntem tüm SEO sorunlarını çözmez.