robots.txt, noindex, canonical sırasını doğru oku

Bir sayfanın Google’da görünmemesi çoğu zaman tek bir sebepten değil, birbirini etkileyen birkaç sinyalden kaynaklanır. En doğru sıra şudur: önce tarama engeli var mı bakılır, sonra indeksleme engeli, ardından kanonik tercih ve son olarak sitemap/keşif sinyali kontrol edilir.

Bu sıra önemlidir; çünkü Google sayfayı tarayamıyorsa noindex sinyalini göremeyebilir, sayfa taranabiliyorsa ama indekslenmiyorsa sorun noindex veya başlık yanıtında olabilir, aynı içerik kümesinde yanlış kanonik seçildiyse de URL görünür ama tercih edilmeyen adres sonuçlara çıkmayabilir. Sitemap ise genelde keşif ve öncelik sinyali sağlar; tek başına indeks garantisi vermez.

Önce tarama engelini kontrol et​

Google Search Console’da ilk bakılacak alan, URL Inspection içindeki Crawl allowed durumudur. Burada "No" görünüyorsa sorun çoğu zaman robots.txt kuralıdır ve Google sayfayı hiç alamıyordur. Bu durumda noindex etiketini veya canonical’ı ayrıca yorumlamadan önce tarama engelini kaldırmak gerekir.

robots.txt ne zaman birincildir?​

robots.txt sayfanın taranmasını engelliyorsa Google sayfa içeriğini tam değerlendiremez. Bu yüzden "Crawl allowed: No" durumunda önce robots.txt kuralını, sonra sayfanın gerçekten taranması gerekip gerekmediğini kontrol etmelisin. Tarama yoksa diğer sinyaller ikincil kalır.

noindex ile robots.txt aynı şey değildir​

noindex, sayfanın dizine eklenmesini engeller; robots.txt ise sayfanın taranmasını. Tarama engeli varsa Google noindex’i göremeyebilir. Bu yüzden "sayfayı indeks dışı bırakmak istiyorum" ile "Google sayfayı hiç görmesin" aynı karar değildir.

İndeksleme sinyalini sonra oku​

Tarama açıksa ikinci soru şudur: Google’ın indekslemesi açık mı? URL Inspection içindeki Indexing allowed alanı burada belirleyicidir. "No" sonucu, noindex tag’i veya header’ı olduğunu gösterir. Sorun bu katmandaysa robots.txt’yi kurcalamak yerine noindex kaynağını bulup düzeltmek gerekir.

Noindex hangi durumda öncelikli ipucudur?​

Sayfa taranabiliyor ama sonuçlarda görünmüyorsa ve Search Console noindex gösteriyorsa, asıl müdahale robots.txt değil sayfa başlığı, meta robots etiketi veya X-Robots-Tag tarafındadır. Böylece gereksiz kural değişikliği yapmadan hedefi doğrudan bulursun.

Kanonik tercihini ayrı değerlendir​

Tarama ve indeksleme sorunu yoksa üçüncü adım canonical kontrolüdür. Google aynı veya çok benzer sayfaları kümeler ve bir kanonik URL seçer. Bu nedenle bir sayfa indekslenmiş olsa bile sonuçlarda farklı bir adres görünmesi mümkün olabilir.

Canonical yanlışsa ne olur?​

Yanlış kanonik seçimi, Google’ın aynı içerik için başka bir URL’yi tercih etmesine yol açabilir. Bu durumda sorun erişim değil seçim problemidir. Düzeltme, çoğu zaman rel=canonical işareti, HTTP header ya da sitemap içeriğinin tutarlı hale getirilmesidir.

Sitemap’i keşif sinyali olarak kullan​

Sitemap, Google’a hangi URL’leri önemsediğini gösterir; ancak tek başına dizine girme garantisi değildir. Search Console’da sitemap’te yer alan bir URL, yine robots.txt, noindex ya da kanonik tercihi nedeniyle sonuçta görünmeyebilir.

Sitemap neyi çözmez?​

Sitemap tarama ve keşfi kolaylaştırır ama yanlış kanonik seçimini, noindex engelini veya robots.txt kuralını düzeltmez. Bu yüzden sitemap’i en sonda kontrol etmek daha doğrudur: önce engel, sonra indeksleme, sonra tercih, en son keşif.

URL Inspection’ı karar ağacı gibi oku​

URL Inspection, tek bakışta tüm sorunu çözmez; ama hangi katmana geçmen gerektiğini söyler. Crawl allowed, Indexing allowed ve canonical bilgilerini birlikte okuyunca müdahale sırası netleşir: önce erişim, sonra indeks, sonra tercih, sonra keşif.

Pratik okuma sırası​

Önce Crawl allowed, sonra Indexing allowed, ardından user-declared canonical ile Google-selected canonical karşılaştırması yapılır. En son referring sitemap ve submitted sitemap bilgilerine bakılır. Böyle okunduğunda aynı sayfa için birden fazla sinyal çakışsa bile teşhis daha temiz olur.

Ne zaman hangi düzeltme yapılır?​

Eğer sorun robots.txt ise engeli kaldırırsın; sorun noindex ise etiket veya header’ı değiştirirsin; sorun canonical ise doğru URL’yi işaretlersin; sorun keşif ise sitemap ve iç bağlantıları güçlendirirsin. Bu ayrım, gereksiz tekrar tarama isteği göndermekten daha etkilidir.

En çok yapılan yanlış sıra​

En sık hata, sitemap ekleyerek robots.txt engelini çözmeye çalışmaktır. Bir başka hata da noindex varken canonical düzeltmesiyle indeks beklemektir. Doğru sıra bozulursa aynı sorun farklı yerlerde tekrar eder. Önce erişim, sonra indeksleme, sonra kanonik, en son sitemap yaklaşımı en temiz teşhis yoludur.