Google crawl budget nasıl yönetilir ve gereksiz tarama nasıl azaltılır?

Google crawl budget’ı azaltmanın en pratik yolu, Google’ın aynı içeriği farklı URL’lerde tekrar tekrar taramasına neden olan yapıyı küçültmektir. Bunu doğru yaptığınızda önemli sayfalar daha sık keşfedilir, gereksiz tarama azalır ve güncel içerik daha verimli işlenir.

Bu yazı, tarama bütçesini boşa harcayan URL kümelerini, canonical ve yönlendirme sinyallerini, sitemap ve robots.txt’nin rolünü ve bunları Search Console’da nasıl okuyacağınızı açıklar. Amaç, bir sayfanın neden tarandığını tek tek ezberlemek değil; hangi işaretin gereksiz tekrar yarattığını ve hangi müdahalenin tekrar taramayı gerçekten azalttığını ayırmaktır.

Google crawl budget nasıl yönetilir ve gereksiz tarama nasıl azaltılır?​

Tarama bütçesini boşa harcayan URL desenlerini ayırın​

Aynı içeriğin filtre, sıralama parametresi, protokol farkı, mobil/masaüstü varyasyonu veya yanlış üretilmiş kopyalarla çoğalması Google’ın tekrar taramasını artırır. Bu yüzden ilk adım, “hangi sayfa indekslendi?” sorusundan önce “hangi URL desenleri aynı içeriği taşıyor?” sorusunu sormaktır. Google, canonical sayfayı daha düzenli tarar; kopyalar ise daha seyrek taranır. Bu da tarama yükünü azaltır.

Bu ayrım önemli çünkü crawl budget sorunu çoğu zaman tek bir hatadan değil, aynı içeriği farklı yollarla erişilebilir kılan küçük kararların birleşiminden doğar. Örneğin, kategori filtreleri, takip parametreleri ve yanlış iç bağlantılar birlikte çalıştığında Google’ın önceliği yeni içerik yerine aynı sayfaların varyasyonlarına kayabilir.

Canonical, yönlendirme ve sitemap sinyallerini doğru sıraya koyun​

Google’a tercih ettiğiniz URL’yi anlatmanın en güçlü yolu yönlendirmedir; rel="canonical" güçlü bir sinyal, sitemap’e dahil etme ise daha zayıf bir sinyaldir. Bunlar birlikte kullanıldığında etki artar. Yani amaç yalnızca bir canonical etiketi eklemek değil, aynı içeriğin alternatif yollarını tek bir seçime bağlamaktır.

Burada kritik nokta, canonical etiketinin bir emir değil, tercih bildirimi olmasıdır. Google, belirttiğiniz sürüm yerine başka bir sürümü seçebilir; bu yüzden yönlendirme zincirleri, site haritası tutarlılığı ve iç link yapısı da aynı hedefi desteklemelidir. Özellikle HTTP/HTTPS, mobil/masaüstü ve filtreli URL’ler birlikte varsa tek başına etiket eklemek genellikle yeterli olmaz.

Robots.txt ile indeks kontrolünü karıştırmadan kullanın​

Robots.txt, Google’ın bir URL’yi isteyip isteyemeyeceğini etkiler; noindex ise sayfanın dizine girip girmeyeceğini etkiler. Bu ikisi aynı araç değildir. Gereksiz taramayı azaltmak istiyorsanız robots.txt işe yarayabilir; bir sayfanın görünmesini engellemek istiyorsanız noindex veya uygun canonical/redirect kararı gerekir. Google’ın yardım belgeleri bu ayrımı açık biçimde yapar.

Yanlış kurgu, tarama bütçesini azaltmaya çalışırken önemli sayfaların keşfini de bozabilir. Özellikle noindex uygulanması gereken sayfayı robots.txt ile kapatmak, Google’ın yönergeyi görmesini engelleyebilir. Bu yüzden önce amacınızı netleştirin: keşfi mi sınırlıyorsunuz, indekslemeyi mi, yoksa ikisini birden mi?

Search Console’da hangi sinyalin sorun çıkardığını okuyun​

URL Denetleme aracı, bir sayfanın robots.txt tarafından engellenip engellenmediğini, noindex içerip içermediğini ve Google’ın seçtiği canonical sürümü gösterir. Tarama İstatistikleri ise sunucu yanıtları ve robots.txt ile ilgili tarama davranışını anlamaya yardım eder. Birlikte kullanıldıklarında sorun, “sayfa bulunamıyor”, “Google başka sürümü seçiyor” ya da “gereksiz tarama fazla” diye ayrıştırılabilir.

Bu ayrım pratikte şunu sağlar: Eğer URL Denetleme’de Google-selected canonical beklediğinizden farklıysa, sorun tarama değil seçimin kendisidir. Eğer robots.txt tarafında engel varsa, önce keşfi geri açmanız gerekir. Eğer her şey taranıyor ama crawl raporu kötüleşiyorsa, sorun muhtemelen URL çoğalması, iç link karmaşası veya kopya üretimidir.

Tarama bütçesini düşüren en yaygın yapı sorunları​

Birçok sitede gereksiz tarama, teknik bir arızadan çok içerik üretim biçiminin yan ürünüdür. Sonsuz filtre kombinasyonları, parametreli sıralama sayfaları, arşivlerin aşırı parçalanması ve aynı sayfanın çoklu giriş noktaları Googlebot’un işini tekrarlar. Google’ın canonicalization belgeleri tam da bu tür duplicate kümelerin tarama yükünü artırdığını söyler.

Bu nedenle çözüm de genellikle tek bir ayardan ibaret değildir. En verimli yaklaşım, önce çoğalan URL desenlerini azaltmak, sonra tercih edilen sürümü güçlendirmek, en sonunda da iç bağlantı ve sitemap düzenini aynı seçimi destekleyecek şekilde sadeleştirmektir. Böylece Google’ın tekrar taradığı sayfalar değil, gerçekten öncelikli sayfalar öne çıkar.

Ne zaman erişimi kapatmak yerine işaretleri düzeltmek gerekir​

Eğer sorun indekslenmesi gerekmeyen alanların gereksiz taranmasıysa, erişimi tamamen kapatmak yerine canonical, yönlendirme, sitemap ve iç linkleri düzeltmek daha iyi olur. Çünkü robots.txt ile körlemesine engelleme, problemi bazen gizler ama çözmez. Google’ın belgeleri de tarama, indeksleme ve canonical seçiminin ayrı kararlar olduğunu gösteriyor.

Son kontrol şu olmalı: Google’ın gerçekten görmek istediğiniz URL’yi en az sayıda alternatifle keşfetmesini, çoğu tekrar yerine ana sürümü taramasını ve Search Console’da da bunu doğrulamanızı sağlayabiliyor musunuz? Bu cevap evet ise crawl budget yönetimi doğru yönde ilerliyor demektir.