Google bir sayfanın taranabilir, indekslenebilir ve canonical olmasını nasıl sağlar?

Google bir sayfanın görünür olmamasını anlamaya çalışırken tek bir soruya takılmak yerine erişim, indeks ve tercih edilen URL sinyallerini ayırmanız gerekir. Kısa cevap şu: robots.txt, noindex, canonical, sitemap ve URL Inspection birbirinin yerine geçen araçlar değil; farklı katmanlarda çalışan işaretlerdir.

Bu yazı, bir sayfanın Google’a önce ulaşıp ulaşmadığını, sonra taranıp taranmadığını, ardından da Google’ın onu kanonik sürüm olarak seçip seçmediğini ayırarak açıklar. Böylece sorun tarama engeli mi, indeks engeli mi, yoksa yanlış canonical seçimi mi, bunu tek bakışta ayıklayabilirsiniz.

Google'ın sayfayı görmesi hangi sinyallere bağlıdır?​

Google Search’te bir sayfanın işlenebilmesi için önce erişilebilir olması gerekir. Resmî gereksinimler üç temel şeyi aynı anda ister: Googlebot’un engellenmemesi, sayfanın 200 durum kodu vermesi ve indekslenebilir içerik sunması. Bu yüzden “tarandı ama çıkmıyor” gibi görünen durumlarda, ilk kontrol sayfanın gerçekten Google’ın erişebildiği bir belge olup olmadığıdır.

Burada önemli ayrım şudur: erişilebilirlik, indekslenebilirlik ve gösterilmeye değer canonical seçimi aynı şey değildir. Bir sayfa açılıyor olabilir ama noindex taşıdığı için dizine girmeyebilir; robots.txt nedeniyle isteğe kapalı olabilir; ya da Google onu çoğaltılmış sürümler arasında ikincil bir URL olarak görebilir. Sorunu doğru okumak için bu üç katmanı ayrı değerlendirmek gerekir.

robots.txt neyi kapatır, neyi kapatmaz?​

robots.txt, arama motoru botlarının hangi sayfaları veya dosyaları isteyebileceğini kontrol eder. Bu yüzden onun birincil etkisi, taramaya giden yolu açmak ya da kapatmaktır. Ancak bu dosya, tek başına bir sayfanın ne zaman kanonik olacağını belirlemez; ayrıca her zaman indeksleme kararının tamamını da açıklamaz.

Pratikte şu ayrım yararlıdır: robots.txt bir kapı görevi görür; sayfaya hiç girememesine yol açabilir. Eğer amaç botun içeriği görmesini ama dizine almamasını sağlamaksa, robots.txt doğru araç olmayabilir. Bu noktada noindex ve X-Robots-Tag devreye girer.

noindex ve X-Robots-Tag ne zaman kullanılır?​

noindex, sayfaya erişim varsa bile Google’ın onu dizine eklememesini söyler. Google’ın açıklaması, bu sinyalin HTML içinde meta robots ile ya da HTML dışı kaynaklarda X-Robots-Tag başlığıyla verilebildiğini gösterir. Yani bir sayfa taranabilir kalıp yine de sonuçlarda görünmeyebilir.

Bu ayrım özellikle yönetim sayfaları, filtreli listelemeler veya arama sonuç sayfaları gibi durumlarda önemlidir. Sayfayı tamamen kapatmak yerine taranabilir bırakıp indeks dışında tutmak gerekebilir. Böyle durumlarda yanlış araç seçimi, hem tarama bütçesini hem de indeks kontrolünü bozar.

Google neden bir URL’yi canonical seçer?​

Google canonical seçimini, aynı ya da çok benzer içerikli URL kümeleri arasında yapar. Resmî açıklamaya göre Google, işlediği sinyallere dayanarak kullanıcı için en eksiksiz ve yararlı gördüğü URL’yi canonical olarak işaretler. HTTP/HTTPS farkı, yönlendirmeler, sitemap’te yer alma ve rel=canonical etiketleri bu kararda sinyal olarak rol oynar; fakat bunlar emir değil, ipucudur.

Bu yüzden “ben canonical verdim, neden başka URL seçildi?” sorusunun cevabı çoğu zaman tek bir etiket değildir. Google, sayfanın içerik kalitesini, teknik sinyallerini ve kopya kümeyi birlikte değerlendirir. Aynı içerik farklı URL’lerle erişiliyorsa, amaç Google’a bir tercih söylemekten çok, tercih edilen sürümü başka sinyallerle de tutarlı hale getirmektir.

rel=canonical ne zaman yeterlidir?​

rel=canonical, özellikle benzer sayfalar arasında tercih edilen URL’yi işaret etmek için kullanılır. Ama Google bu işareti bir öneri olarak okur; yanlış yapılandırma, zayıf içerik farklılığı, çakışan yönlendirmeler veya sitemap tutarsızlığı varsa başka bir URL’yi seçebilir.

Bu nedenle canonical’ı tek başına “düzeltme düğmesi” gibi görmek doğru olmaz. Aynı içerik, farklı protokolde, farklı parametreyle veya ayrı bölgesel sürüm olarak sunuluyorsa canonical ancak diğer sinyallerle birlikte anlam kazanır. Özellikle Google’ın yanlış sürümü seçtiği durumlarda, etiketin yanında içerik eşleştirmesi ve site içi tutarlılık da kontrol edilmelidir.

Sitemap neden hâlâ önemlidir?​

Sitemap, Google’a hangi URL’leri özellikle göstermeyi tercih ettiğinizi anlatır. Google’ın belgeleri, sitemap’e aynı içeriğin tercih edilen kanonik URL’sinin konmasının doğru yaklaşım olduğunu söyler. Bu yüzden sitemap, yalnızca keşif aracı değil, aynı zamanda tercih edilen URL sinyalidir.

Buradaki ince nokta, sitemap’in her URL’yi otomatik olarak seçtirmemesidir. Google yine kendi sinyallerine göre karar verir. Ama sitemap yanlış, eski veya kanonik olmayan URL’leri öne çıkarıyorsa, canonical seçimiyle çelişen bir yapı yaratır ve teşhis zorlaşır.

Bir sayfanın durumunu nasıl doğrularsınız?​

URL Inspection, pratikte en güvenilir kontrol noktasıdır. Google’ın hangi URL’yi canonical seçtiğini görmek, sayfanın tarama ve indeksleme durumunu okumak ve gerekirse yeniden indeksleme isteği göndermek için burada bakılır. Özellikle bir değişiklikten sonra “beklemek yerine kontrol et” aşaması bu araçta başlar.

Ancak URL Inspection, sorunu tek başına çözmez; yalnızca Google’ın o anki yorumunu gösterir. Eğer canonical yanlışsa, robots engeli varsa ya da noindex verilmişse, araç size sonucu değil sebebi işaret eder. Sonraki adım, bu sinyallerin birbirini destekleyip desteklemediğini kontrol etmektir.

Ne zaman yeniden tarama istemek gerekir?​

Yeni içerik yayımladığınızda, önemli bir URL’yi düzelttiğinizde veya canonical yapısını değiştirdiğinizde yeniden tarama istemek anlamlı olabilir. Google, sitemap’i URL keşfi için önemli bir yol olarak tanımlar ve URL Inspection içinde “Request Indexing” seçeneğini sunar. Bu, Google’a değişikliği tekrar değerlendirme çağrısıdır.

Yine de yeniden tarama talebini, yanlış yapılandırmayı gizlemek için kullanmamak gerekir. Eğer bir URL robots.txt ile kapalıysa veya noindex taşıyorsa, yeniden tarama istemek sorunu çözmez. Önce sinyal setini düzeltmek, sonra Google’ın yeniden bakmasını istemek daha doğru yaklaşımdır.

Hangi sinyal hangi kararı etkiler?​

Bu sinyalleri karar bazında ayırmak, teşhisi hızlandırır. robots.txt erişimi, noindex indekslemeyi, canonical temsilci URL seçimini, sitemap ise tercih edilen URL keşfini etkiler. URL Inspection ise Google’ın o anda hangi sonucu verdiğini gösterir.

En sağlıklı iş akışı, önce erişim engeli var mı diye bakmak, sonra indeks sinyalini, ardından canonical tutarlılığını kontrol etmektir. Böylece “Google sayfayı neden sevmiyor?” gibi belirsiz bir soru yerine, hangi katmanda kopukluk olduğunu doğrudan bulursunuz.

Sık görülen çelişki örnekleri​

Bir sayfa sitemap’te kanonik olarak işaretlenip rel=canonical ile başka URL’ye yönlendiriliyorsa, Google’ın kararı tahmin edilenden farklı olabilir. Benzer biçimde, noindex verilen bir sayfanın sitemap’te kalması da karışıklık yaratır; çünkü bir sinyal keşfe, diğeri dışlamaya çalışır.

Bir diğer yaygın durum, Google’ın seçtiği canonical ile sizin tercih ettiğiniz canonical’ın farklı olmasıdır. Bu durumda ilk soru “etiket yanlış mı?” değil, “sayfa kümem gerçekten tek ve tutarlı bir temsilci mi sunuyor?” olmalıdır. İçerik farkı zayıfsa, yönlendirmeler dağınıksa veya parametreli adresler çoğalıyorsa Google kendi seçimini yapabilir.

Kısa karar ölçütü​

Bir URL’yi kontrol ederken şu sırayı izlemek yeterli olur: erişim açık mı, içerik indekslenebilir mi, noindex var mı, canonical tutarlı mı, sitemap doğru URL’yi mi gösteriyor? Bu beş soru çoğu teknik SEO teşhisinde ana sorunu buldurur.

Eğer beşinden biri bozuksa, sorun o katmandadır. Hepsi doğru görünmesine rağmen sonuç hâlâ beklediğiniz gibi değilse, o zaman içerik benzerliği, kopya küme yapısı veya Google’ın kullanıcıya daha uygun gördüğü başka bir sürüm ihtimali incelenir. Bu ayrım, aynı semptomu veren farklı teknik nedenleri karıştırmanızı önler.