robots.txt, noindex ve canonical ne zaman kullanılır?

robots.txt, noindex ve canonical farklı işleri çözer; doğru olanı seçmezseniz sayfayı yanlış yerde engeller ya da yanlış sinyalle çoğaltırsınız. En kısa ayrım: robots.txt taramayı, noindex görünmeyi, canonical ise tercih edilen sürümü yönetir.

Bu yazı, bir sayfada hangi etiketin hangi sonucu doğurduğunu ve bunların birbirinin yerine neden geçmediğini anlatır. Ayrıca Google’ın sayfayı okuyup okuyamadığı, dizine ekleyip eklemediği ve kopya URL’lerde hangi sinyalin kullanıldığı arasındaki farkı ayırır.

robots.txt, noindex ve canonical ne zaman kullanılır?​

Birçok sorun, tek bir 'SEO hatası' gibi görünür ama aslında üç ayrı karara dayanır: Google sayfayı tarasın mı, dizine eklesin mi, yoksa benzer adresler arasında birini mi tercih etsin? Bu üç sorunun cevabı aynı etiketle verilmez.

robots.txt taramayı, noindex görünmeyi kontrol eder​

robots.txt, Googlebot’un bir URL’ye erişip erişmemesini etkiler. Sayfayı taraması engellenirse Google, o sayfanın içeriğini okuyamaz; dolayısıyla içerikteki talimatları da görmeyebilir. Bu nedenle robots.txt, 'bu sayfayı arama sonucunda göstermesinler' demek için değil, 'bu yolu taramasınlar' demek için kullanılır.
noindex ise farklı çalışır. Sayfa taranabiliyorsa Google içeriği okuyabilir ve ardından dizine eklememesi gerektiğini anlayabilir. Bir sayfayı gizlemek istiyorsanız ama Google’ın içeriği görmesini de istiyorsanız, çoğu durumda noindex daha doğru araçtır. Bu ayrım özellikle zayıf yönlendirme, üyelik alanı, etiket sayfaları veya geçici içeriklerde önemlidir.

canonical, engellemek yerine tercih edilen sürümü işaret eder​

canonical etiketi bir sayfayı kapatmaz; benzer ya da yinelenen adresler arasında hangisinin ana sürüm sayılacağını anlatır. Bu, özellikle aynı içeriğin parametreli, filtreli veya farklı yol yapısına sahip kopyaları olduğunda işe yarar. Buradaki amaç görünürlüğü silmek değil, sinyali tek adreste toplamaktır.
canonical kullanırken beklenen sonuç, kopya sayfaların bir araya getirilmesi ve sıralama sinyalinin dağıtılmamasıdır. Buna karşılık robots.txt ile engellerseniz Google sayfayı tarayamaz; noindex verirseniz Google içeriği okuyup arama sonuçlarına almamayı seçebilir. Yani canonical, 'kaldır' komutu değil, 'tercih et' komutudur.

Hangi durumda hangi sinyal seçilir?​

Karar verirken önce sayfanın amacına bakın. İçeriğin taranmasını hiç istemiyorsanız robots.txt düşünülür. İçeriğin taranmasını isteyip aramada görünmesini istemiyorsanız noindex düşünülür. Aynı içeriğin birden fazla sürümü varsa ve bunları tek sinyalde toplamak istiyorsanız canonical düşünülür.

• Tarama istemiyorum: robots.txt
• Tarama olsun, sonuçta görünmesin: noindex
• Benzer URL’ler tek sürümde toplansın: canonical

Bu ayrım küçük görünse de sorun çözümünü doğrudan etkiler. Yanlış yerde robots.txt kullanırsanız Google noindex’i veya canonical’ı göremeyebilir. Yanlış yerde noindex kullanırsanız görünür olması gereken sayfaları gizleyebilirsiniz. Yanlış yerde canonical kullanırsanız da arama motoruna engel değil, yalnızca tercih sinyali vermiş olursunuz.

tek sayfada ilk bakılacak kontrol sırası​

Bir URL’de neyin sorun yarattığını anlamak için önce erişimi, sonra dizine eklemeyi, sonra da tercih edilen sürüm sinyalini okuyun. Önce robots.txt ile tarama engeli var mı bakın. Sonra noindex yönergesi olup olmadığını kontrol edin. En son canonical etiketinin sayfayı doğru adrese yönlendirip yönlendirmediğini inceleyin.
Bu sıra önemlidir; çünkü tarama engeli varken canonical ya da noindex kontrolü çoğu zaman ikinci planda kalır. Google sayfayı okuyamıyorsa etiketleri değerlendiremez. Bu yüzden teşhis, her zaman en temel erişim koşulundan başlamalıdır.

Kısa karar tablosu​

Bir etiketin ne yaptığına bakmak yerine, hangi sorunu çözdüğünü ayırmak daha güvenlidir. Aşağıdaki özet, karar verirken yanlış aracı seçmemeniz için pratik bir çerçeve verir.

etiket seçimi ve beklenen sonuç​

Doğru seçim, sayfanın niyetine göre yapılır; teknik isim benzerliği yeterli değildir. Özellikle kopya URL’ler, gizli alanlar ve geçici sayfalar birbirinden farklı çözümler ister.

URL Denetleme ile sonucu doğrulama​

Eğer tek bir sayfada ne olduğunu anlamak istiyorsanız, URL Denetleme çıktısını tarama ve dizine ekleme ayrımıyla okumak gerekir. Burada önemli olan, Google’ın sayfaya ulaşıp ulaşamadığı, robots.txt tarafından engellenip engellenmediği ve noindex gibi bir yönerge görüp görmediğidir.
Bu son kontrol, teoriyi pratiğe bağlar. Çünkü aynı site içinde bazı URL’ler taranabilirken bazıları engellenmiş olabilir; bazıları dizine girerken bazıları canonical nedeniyle ikinci sürüm olarak seçilebilir. Sorunu çözen şey çoğu zaman tek bir etiket değil, bu üç sinyalin birbirine karıştırılmamasıdır.