Google yeni sayfaları neden geç tarar?

Yeni sayfaların geç taranmasının en yaygın nedeni, Google’ın o URL’yi geç keşfetmesi ya da öncelik vermemesidir; çözüm çoğu zaman tek ayar değil, sitemap, iç link, robots.txt ve crawl bütçesini birlikte düzenlemektir. Bu rehber, taranma gecikmesini hangi kontrolde yakalayacağını ve hangi adımın gerçekten keşfi hızlandıracağını gösterir.

Önce sorunu üç parçaya ayıracağız: URL keşfedildi mi, taramaya açık mı, yoksa taranıp da düşük öncelik mi alıyor? Sonra sitemap, iç bağlantı, robots.txt, sunucu yanıtı ve URL Inspection adımlarını tek akışta ele alacağız.

Yeni sayfalar neden geç taranır?​

Google önce URL’yi bulmak, sonra erişmek, sonra da yeniden taramak zorundadır. Bir sayfanın var olması, hemen taranacağı anlamına gelmez; özellikle büyük sitelerde düşük değerli URL’ler, kopyalar ve zayıf iç bağlantılar yeni içeriklerin keşfini yavaşlatabilir. Google’ın dokümantasyonu, crawl bütçesinin hem crawl rate hem crawl demand tarafına bağlı olduğunu ve gereksiz URL’lerin önemli sayfalara giden tarama kaynaklarını tüketebileceğini açıkça söyler.

Taranmama ile indekslenmeme aynı sorun değildir​

Bir sayfa geç taranıyorsa sorun keşifte olabilir; taranıp indekslenmiyorsa sorun içerik kalitesi, erişilebilirlik ya da teknik sinyallerde olabilir. Google’ın Search Essentials belgeleri, erişilebilir olmayan ya da robots.txt ile engellenen URL’lerin taranamayacağını; taranabilen ama değeri düşük görülen sayfaların ise yine de sonuçlarda görünmeyebileceğini anlatır. Bu ayrım, yanlış yerde optimizasyon yapmayı önler.

Keşfi hızlandıran üç temel sinyal​

İlk sinyal XML sitemap’tir. Google, sitemap’i önemli URL’leri ve güncellemeleri bildirmek için temel araçlardan biri olarak tanımlar. İkinci sinyal iç bağlantı yapısıdır; Google’ın bir sayfayı bulabilmesi için o sayfaya sitenin başka bir yerinden mantıklı bir link gelmesi gerekir. Üçüncü sinyal ise robots.txt engeli olmamasıdır; Googlebot URL’ye erişemiyorsa hem içeriği hem de o URL üzerindeki yönlendirici sinyalleri göremez.

Crawl bütçesini boşa harcatan URL tipleri​

Google’ın crawl bütçesi örneklerinde en sorunlu alanlar; faceted navigation, session identifier’lar, kopya içerik, soft 404, hacked sayfalar, sonsuz alanlar ve spam içeriktir. Bunlar küçük sitelerde bile gereksiz tarama yaratabilir; büyük sitelerde ise yeni ve önemli URL’lerin daha geç görülmesine yol açar. Buradaki amaç, her URL’yi kapatmak değil, değer taşımayan tekrarları azaltmaktır.

Sitemap, iç link ve robots.txt birlikte nasıl çalışır?​

Sitemap tek başına “bu sayfayı sıraya al” demez; Google’a keşif ipucu verir. İç link, sayfanın site içinde gerçekten yaşadığını gösterir. Robots.txt ise erişim kapısıdır; yanlış kullanılırsa Google yeni sayfayı hiç görmeden geri döner. Bu yüzden doğru akış, önce erişimi açmak, sonra önemli URL’leri sitemap ve iç link ile desteklemektir.

Sitemap ne zaman tek başına yetmez?​

Sitemap, özellikle yeni veya çok derin sayfalar için faydalıdır; ama sayfa sitenin hiçbir yerinden link almıyorsa Google’ın önceliklendirmesi zayıflayabilir. Google’ın bağlantı belgeleri, önemli her sayfanın sitede en az bir yerden bağlantı almasını önerir. Yani sitemap “bul” der, iç link ise “önemli” der.

Robots.txt ile noindex neden karıştırılmamalı?​

Google, robots.txt ile engellenen bir URL’deki noindex kuralını göremez; çünkü önce sayfaya erişmesi gerekir. Bu yüzden bir URL’nin sonuçlarda görünmemesi isteniyorsa, erişim ve indeksleme kararını ayrı ele almak gerekir. Erişimi kapatmak başka, indekslemeyi engellemek başka bir işlemdir.

Pratik kontrol sırası nasıl kurulmalı?​

Yeni sayfa geç taranıyorsa kontrol sırası genelde en hızlı teşhisten başlamalıdır: URL gerçekten erişilebilir mi, sitemap’te var mı, sitenin içinde link alıyor mu, robots.txt tarafından engelleniyor mu, sunucu yanıtı tutarlı mı? Google, tarama gecikmesinde bu başlıkları tek tek kontrol etmeyi önerir; ayrıca yeni veya değişen URL’ler için URL Inspection üzerinden yeniden tarama isteği verilebilir.

İşlevsel öncelik sırası​

1. URL’yi erişilebilir yap.
2. Sitemap’e ekle.
3. Sitenin ilgili bölümlerinden iç link ver.
4. Robots.txt engelini kontrol et.
5. Gerekiyorsa URL Inspection ile yeniden tarama iste.

Bu sıra, sorunun keşif mi erişim mi olduğunu ayırır ve gereksiz müdahaleyi azaltır. Google’ın recrawl dokümantasyonu, yeniden tarama isteğinin yalnızca sahip olduğunuz property için geçerli olduğunu ve hızlandırmanın garanti olmadığını gösterir.

Ne zaman sunucu kapasitesine bakılır?​

Google, crawl sırasında sunucu sorunları görürse taramayı yavaşlatabilir. Özellikle büyük güncellemelerde veya yoğun kampanya dönemlerinde erişim hataları, yavaş yanıtlar ve kesintiler yeni URL’lerin geç işlenmesine neden olabilir. Eğer sorun sadece içerikte değilse, kapasite ve yanıt süreleri de kontrol listesine girmelidir.

Tablodaki durumları nasıl yorumlamalısınız?​

Yeni sayfa geç bulunuyorsa ilk bakılacak yer sitemap ve iç linktir; çünkü bunlar keşfi hızlandıran temel sinyallerdir. Çok sayıda düşük değerli URL varsa crawl bütçesi boşa gidiyor olabilir. Sayfa taranıyor ama görünmüyorsa, artık problem sadece keşif değil; içerik, kalite ve indeksleme sinyalleri birlikte değerlendirilmelidir. Önemli kaynaklar yüklenmiyorsa Google sayfayı eksik görebilir ve bu da görünürlüğü etkileyebilir.

Görsel ve video sayfaları için ek not​

Google, görüntü ve video içeriği için de crawl erişimine ihtiyaç duyar; robots.txt ile yanlış engelleme yapıldığında bu içerikler de görünmeyebilir. Video ve görsel URL’lerinde, özellikle CDN veya ayrı host kullanılıyorsa, hem ana sayfa hem medya kaynağı ayrı ayrı erişilebilir olmalıdır. Bu nedenle medya SEO’da taranabilirlik, sadece sayfa HTML’iyle sınırlı değildir.

Son kontrol: sorun tek noktada mı?​

Eğer yeni URL’ler düzenli olarak geç taranıyorsa, sorun çoğu zaman tek bir etiket değil, site mimarisinin keşif maliyetidir. En sık çözüm; gereksiz URL’leri azaltmak, önemli sayfaları daha görünür bağlamak, sitemap’i güncel tutmak ve erişimi yanlış yerde kapatmamak olur. Bu yaklaşım, yeni içeriklerin Google’a daha hızlı ulaşmasını sağlar ve crawl bütçesini gerçekten değerli sayfalara yönlendirir.