Büyük veya sık güncellenen bir sitede Google crawl budget nasıl yönetilir?

Büyük veya sık güncellenen bir sitede Google’ın neyi ne kadar hızlı taradığını yönetmek, yalnızca daha fazla sayfa eklemekten ibaret değildir. Asıl fark, keşfedilmesi gereken URL’leri kolaylaştırırken gereksiz ve tekrar eden adresleri azaltmaktır.

Bu yazı, crawl budget’in ne zaman gerçek bir konu haline geldiğini, sitemap ve robots.txt’nin burada nasıl rol oynadığını ve Search Console’daki raporlarla hangi sinyallere bakmanız gerektiğini açıklıyor.

Tarama bütçesi ne zaman gerçekten önemlidir?​

Google’ın kendi kılavuzu, küçük ve yavaş değişen sitelerde ayrı bir crawl budget çalışmasının çoğu zaman gerekli olmadığını söylüyor. Konu, özellikle büyük sitelerde, çok sık güncellenen yapılarda ve Search Console’da “Discovered - currently not indexed” gibi sorunların biriktiği durumlarda anlam kazanır. Yani mesele, her site için genel bir SEO tavsiyesi değil; ölçek ve değişim hızına bağlı bir işletme sorunudur.

Burada ilk kontrol, sitenin gerçekten tarama sınırlamasına mı takıldığı, yoksa içerik kalitesi ve iç bağlantı yapısı yüzünden mi geride kaldığıdır. Google, yeni veya güncellenen sayfalar için sitemap’in güncel olmasını, erişilebilir bağlantıların bulunmasını ve Page Indexing raporunun düzenli izlenmesini önerir. Bu yüzden ilk soru “daha çok taratabilir miyim?” değil, “Google’ın görmesini istediğim URL’leri kolay bulunur hale getirdim mi?” olmalıdır.

Hangi sinyaller tarama verimini etkiler?​

Tarama verimini etkileyen temel sinyaller üç grupta toplanır: keşif, öncelik ve israf. Keşif tarafında güncel sitemap, net iç bağlantılar ve mobil sürümde saklanmayan bağlantılar önemlidir. Öncelik tarafında Google’ın faydalı gördüğü içerik, düzenli güncellenen önemli sayfalar ve daha iyi bir site hiyerarşisi rol oynar. İsraf tarafında ise sonsuz filtre kombinasyonları, tekrar eden sıralama varyasyonları ve gereksiz parametreli URL’ler öne çıkar.

robots.txt burada “hangi alanlara hiç yaklaşmasın?” sorusuna cevap verir; noindex ise taranmış içeriğin aramada görünmesini engeller. Bu iki mekanizmayı birbirinin yerine kullanmak doğru değildir. Uzun vadede tarama yükü oluşturan, kullanıcıya değer katmayan ya da aynı içeriğin yalnızca farklı sırası olan sayfaları robots.txt ile engellemek anlamlı olabilir. Buna karşılık gerçekten indekslenmesi gereken ama yalnızca arama sonucunda görünmesin istenen sayfalarda noindex daha uygun bir araçtır.

Büyük sitelerde gereksiz taramayı nasıl azaltırsınız?​

İlk adım, sitenin tekrarlayan URL üretip üretmediğini anlamaktır. Filtre parametreleri, sayfalama yapıları, sıralama seçenekleri ve benzer ürün varyasyonları çoğu zaman aynı içeriğin farklı URL’ler altında çoğalmasına yol açar. Google’ın kılavuzları, böyle durumlarda tek tek her URL’yi beslemek yerine, mümkünse içeriği birleştirmeyi ve yalnızca gerçekten gerekli varyasyonları açık bırakmayı önerir.

İkinci adım, Google’ın taramasını yanlış yöne sevk eden teknik işaretleri temizlemektir. Güncel olmayan sitemap’ler, yanlış canonical seçimleri, gereksiz redirect zincirleri ve bozuk iç bağlantılar tarama bütçesini tüketir. Burada amaç, Googlebot’a daha fazla iş vermek değil; doğru işaretleri verip aynı sayfayı defalarca keşfetmesini önlemektir.

Üçüncü adım, sunucu kapasitesidir. Google, çok fazla yavaş yanıt veya hata gördüğünde tarama hızını geri çekebilir. Bu nedenle yalnızca içerik tarafına bakmak yeterli olmaz; çok sık hata veren, zaman aşımı yaşayan veya aşırı ağır çalışan sayfalar da öncelik sırasını bozabilir. Performans iyileştirmesi burada tek başına bir sıralama numarası değil, keşif sürekliliğini destekleyen yapısal bir kontroldür.

Sitemap, robots.txt ve Page Indexing raporu birlikte nasıl okunur?​

Sitemap, Google’a hangi URL’leri önemli gördüğünüzü söyler; robots.txt, hangi bölümlere hiç tarama istemediğinizi anlatır; Page Indexing raporu ise Google’ın fiilen ne yaptığını gösterir. Üçü aynı şeyi söylemez, bu yüzden biri bozulduğunda diğeriyle telafi etmeye çalışmak yanlış sonuç verir. Örneğin sitemap’te yer alması bir URL’nin mutlaka indeksleneceği anlamına gelmez; robots.txt’de açık olması da onu otomatik olarak önemli yapmaz.

Bu yüzden sağlıklı okuma sırası şudur: önce önemli URL’ler gerçekten keşfedilebiliyor mu, sonra gereksiz URL’ler dışarıda bırakılmış mı, en son da indeksleme raporunda beklenmeyen düşüşler veya ertelemeler var mı. Eğer Page Indexing raporunda çok sayıda keşfedilmiş ama henüz indekslenmemiş URL görüyorsanız, sorun her zaman crawl budget olmayabilir. Bazen sebep, içerik tekrarları veya düşük sayfa değeri algısıdır.

Hangi sayfaları özellikle dışarıda bırakmalısınız?​

Arama motorunun taramasını boşa harcayan sayfalar genelde kullanıcı niyeti taşımayan teknik adreslerdir. Sonsuz kaydırma, salt sıralama parametreleri, iç filtre kombinasyonları, sepet ve işlem sayfaları bunlara örnektir. Bu tür URL’ler bazen site içinde gerekir ama arama için değer üretmez.

Burada kritik ayrım, “kullanışsız” ile “gereksiz” arasındadır. Kullanışsız sayfa, kullanıcıya da siteye de fayda vermeyebilir; gereksiz sayfa ise işlevsel olabilir ama arama motorunun tekrar tekrar harcamasına değmez. Uzun vadeli indeks sağlığı için bu farkı doğru kurmak gerekir. Gereksiz URL’leri açıkça sınırlamak, önemli sayfalar için daha temiz bir keşif yolu bırakır.

Son olarak, Core Web Vitals iyileştirmesiyle crawl budget’i aynı şey sanmamak gerekir. Sayfa deneyimi önemlidir; fakat Google’ın resmi açıklaması, yalnızca düşük kaliteli sayfaları hızlandırmanın daha fazla tarama getirmeyeceğini net biçimde söylüyor. Hız iyileştirmesi, keşfi destekleyen yardımcı bir unsur olabilir; tarama sorununun tek çözümü değildir.