Google crawl budget nasıl yönetilir ve hangi siteler için önemlidir

Google crawl budget, özellikle büyük ya da çok sık değişen sitelerde önem kazanır; küçük ve düzenli taranan sitelerde çoğu zaman ana darboğaz bu değildir. Sorun genellikle Google’ın sitenizi hiç taramamasından değil, enerjisini yanlış URL kümelerine harcamasından doğar.

Bu yazı, crawl budget kavramını tarama kapasitesi ve tarama talebi üzerinden açıklar; sonra yinelenen URL’ler, güncel sitemap kullanımı, 304 yanıtı ve robots.txt ile noindex’in hangi görevleri üstlendiğini ayırır. Amaç, hangi durumda tarama bütçesiyle uğraşmanız gerektiğini ve hangi müdahalenin gerçekten etkili olacağını netleştirmektir.

Crawl budget ne zaman sorun olur​

Google’ın resmi rehberine göre crawl budget, Google’ın bir site için tarayabildiği ve taramak istediği URL kümesidir; yani konu yalnızca teknik erişim değil, kaynak tahsisidir. Bu yüzden küçük bir siteye uygulanacak çözümle, yüz binlerce URL üreten bir siteye uygulanacak çözüm aynı olmaz.

Hangi sitelerde öncelik kazanır​

Büyük siteler, çok sık güncellenen siteler ve Search Console’da çok sayıda URL’si Discovered - currently not indexed olarak görünen yapılar crawl budget açısından daha hassastır. Google’ın kendi notu da, sayfalar aynı gün taranıyorsa bu rehbere çoğu sitenin ihtiyaç duymayacağını söyler.

Tarama kapasitesi neden boşa gider​

Google, tekrar eden veya gereksiz URL’lere zaman harcadığında sitenin geri kalanını daha az keşfedebilir. Bu yüzden filtre kombinasyonları, oturum parametreleri, kopya ürün sayfaları ve benzeri tekrarlar teknik olarak tek tek küçük görünse de toplu halde bütçeyi tüketir.

Bütçeyi koruyan en etkili teknikler​

En iyi yaklaşım, Google’a hangi URL’leri önce görmesi gerektiğini açıkça söylemek ve tekrar eden adresleri azaltmaktır. Burada amaç, Googlebot’u zorlamak değil, aynı içeriği farklı yollarla yeniden yeniden okutmayı bırakmaktır.

Yinelenen URL’leri birleştirin​

Aynı içeriğin farklı URL’lerle erişilebildiği yerlerde canonical seçimi, yönlendirme ve dahili bağlantı temizliği birlikte düşünülmelidir. Canonical, Google’a hangi sürümün temsilci olduğunu söyler; bu, bütçe kaybını tek başına bitirmez ama kümeyi sadeleştirir.

Sitemap’i öncelikli URL listesi gibi kullanın​

Güncel bir XML sitemap, Google’ın keşfetmesini istediğiniz URL’leri daha net görmesini sağlar. Ancak sitemap bir emir listesi değildir; yalnızca önemli URL’leri işaret ederek keşif verimliliğini artırır.

Değişmemiş sayfalarda 304 yanıtı kullanın​

Bir sayfa son taramadan beri değişmemişse 304 Not Modified dönmek, aynı içeriği yeniden indirme yükünü azaltır. Bu, özellikle çok sayıda benzer sayfası olan sitelerde tarama maliyetini düşüren pratik bir optimizasyondur.

robots.txt, noindex ve canonical aynı şey değildir​

Bu üç sinyal çoğu zaman karıştırılır ama farklı görevler yapar. robots.txt taramayı sınırlar, noindex indekslemeyi engeller, canonical ise benzer URL’ler arasında temsilci seçimine yardım eder.

robots.txt ne yapar, ne yapmaz​

Google’ın dokümanı, robots.txt’nin sayfaları arama sonuçlarından gizlemek için kullanılmaması gerektiğini açıkça belirtir. Yani amacı görünürlüğü kapatmak değil, botların belirli yolları ziyaret etmesini kısıtlamaktır.

noindex ne zaman gerekir​

Bir sayfanın taranmasına izin verip arama sonuçlarında görünmesini istemiyorsanız noindex kullanılır. Sayfa taranabiliyorsa bu sinyal okunur; tarama engellenmişse sinyalin etkisi de sınırlanır.

canonical ne zaman gerekir​

Aynı içeriğin birden fazla URL’de oluştuğu durumlarda canonical, Google’ın hangi sayfayı temsilci olarak değerlendireceğini destekler. Özellikle HTTP/HTTPS, parametreli adresler ve filtre sayfaları gibi yapılarda faydalıdır.

Pratik karar sırası​

Önce gerçekten taranması gereken URL sayısını azaltın, sonra önemli URL’lerin keşfini kolaylaştırın, en son da tekrar eden sürümleri birleştirin. Crawl budget çoğu zaman tek bir ayarla değil, URL mimarisiyle çözülür.

Önce problem türünü ayırın​

Sayfanın hiç bulunmaması, bulunup taranmaması, taranıp indekslenmemesi ve kopya URL’ler arasında yanlış temsilci seçilmesi aynı sorun değildir. Hangi aşamanın bozulduğunu bilmeden yapılan optimizasyonlar genelde yanlış yere emek harcatır.

Son kontrol nerede yapılır​

Search Console’daki kapsam ve indeksleme raporları, sitemap durumu ve URL Inspection aracı birlikte okunmalıdır. Böylece sorun, tarama kapasitesi mi yoksa URL kalitesi ve çoğaltma yapısı mı, daha net anlaşılır.