Cloudflare Googlebot’U Engelliyorsa Ne Yapılmalı?

Cloudflare Googlebot’u engelliyorsa önce engeli koyan ürünü belirleyin; tüm korumayı kapatmak yerine ilgili ayarı düzeltin.

Önce isteğin kimliğini doğrulayın, ardından güvenlik olayını bulun. WAF kuralları, Bot Fight Mode ve AI tarama tercihlerini birbirinden ayırarak ilerleyin.

Googlebot engeli ile canlı test hatasını ayırın​

Search Console’daki Canlı URL’yi test et işlemi Google-InspectionTool kullanır. Bu, düzenli Googlebot taramasıyla aynı şey değildir. Dolayısıyla canlı testin başarılı olması, Googlebot’a uygulanan bütün kuralların doğru olduğunu tek başına kanıtlamaz; testin başarısız olması da hangi güvenlik ürününün sorumlu olduğunu söylemez.

İstek başlığında Googlebot yazması da yeterli doğrulama değildir. İstemci IP’sini Google’ın ilgili tarayıcı için yayımladığı IP aralıklarıyla karşılaştırın. Alternatif yöntem, ters DNS sonucunun Google’a ait beklenen alan adıyla eşleşmesini ve bu adın ileri DNS sorgusunda aynı IP’ye dönmesini kontrol etmektir. Kendi bilgisayarınızdan yalnız User-Agent değiştirerek yaptığınız istek, gerçek Googlebot erişiminin yerine geçmez.

403 yanıtını hangi katmanın ürettiğini bulun​

Cloudflare’ın Security Events ekranında hatanın zaman aralığını ve etkilenen sayfa yolunu daraltın. Eşleşen olayda uygulanan eyleme, güvenlik ürününe ve kural ayrıntılarına bakın. Aynı istek birden fazla güvenlik olayına yol açabildiği için yalnız ilk satırı inceleyip karar vermeyin.

Olay görünmemesi, Cloudflare’ın kesinlikle devre dışı olduğu anlamına gelmez: olay listesi örneklenmiş veri içerebilir. Öte yandan 403 yanıtı asıl sunucudaki izinlerden veya güvenlik kurallarından da gelebilir. Hata sayfasının görünümü tek başına yeterli değildir; Cloudflare bazı durumlarda markasız 403 de döndürebilir. İlgili zaman ve sayfa için Cloudflare olayını sunucu erişim kaydıyla karşılaştırın.

Engelin kaynağına göre ayarı değiştirin​

AI Training: Block ile Disallow aynı işlem değil​

Cloudflare’ın 15 Eylül 2026 duyurusuna göre Training bölümündeki Block ve Block on pages with ads seçenekleri, Googlebot gibi hem arama hem eğitim amacıyla kullanılan tarayıcıları da kapsar. İkinci seçenek yalnız reklam gösterdiği tespit edilen sayfalarda uygulanır. Bu seçimleri yalnızca eğitim tercihi olarak değerlendirmeyin.

Amacınız Google arama erişimini koruyup eğitim kullanımına izin vermemekse Search için Allow, Training için Disallow AI Training ayrımını kullanın. Bot Preference Sync, uygulanabilir eğitimden çıkma tercihini robots.txt dosyasına yansıtır; Cloudflare’ın Accountable olarak sınıflandırdığı Googlebot arama için erişebilir. Bu, tüm tarayıcıların her koşulda aynı davranacağına dair bir garanti değildir. Ayrıca Allow seçimi başka bir WAF kuralını geçersiz kılmaz.

Özel WAF kuralı: yalnız sorunlu koşulu daraltın​

Olay kaydı kendi oluşturduğunuz bir ülke veya erişim kuralını gösteriyorsa önce o kuralı düzenlemeyi değerlendirin. Her güvenlik denetimini atlayan genel bir istisna oluşturmak zorunda değilsiniz. Cloudflare, doğrulanmış iyi botları ayırt etmek için alanını sağlar.

Varsayımsal örnek: Türkiye dışındaki ziyaretçilere Managed Challenge uygulayan mevcut bir kuralın doğrulanmış Google isteğini de yakaladığını belirlediniz. Bu kuralda bilinen iyi botları hariç tutmak için eşleşme koşulu şöyle kurulabilir:

( ne "TR" and not )

Bu ifade, Türkiye dışından gelen ve Cloudflare tarafından bilinen iyi bot olarak tanınmayan istekleri eşleştirir. Yalnız Googlebot’u değil, bu sınıfa giren diğer botları da ilgili kuraldan çıkarır. Böyle geniş bir istisna istemiyorsanız kullanmayın. Bu örnek, ülke kısıtlaması ekleme önerisi değildir ve başka güvenlik kurallarını kaldırmaz.

Forumun üyeye özel bölümlerini veya yönetim alanını SEO gerekçesiyle herkese açmayın. Yapılacak değişikliği, aramada bulunmasını istediğiniz herkese açık içeriğin erişim ihtiyacıyla sınırlayın.

Bot Fight Mode: Skip her üründe çalışmaz​

• Bot Fight Mode: WAF özel kuralındaki Skip eylemiyle atlanamaz. Doğrulanmış meşru trafiği bu ürünün engellediği belirlendiyse aynı Skip kuralını tekrar düzenlemek çözüm değildir. Yalnız bu özelliği kapatmak veya istisna desteği olan bir yapılandırma kullanmak değerlendirilmelidir.
• Super Bot Fight Mode: Özel kurallardaki Skip eylemini destekler. İstisnayı güvenilir trafik koşuluyla eşleştirip ilgili ürün için uygulayabilirsiniz.
• Managed Rules veya hız sınırlaması: Skip seçenekleri bunlar için ayrı ayrı seçilir. Bütün kutucukları işaretlemek yerine yalnız yanlış engeli oluşturan güvenlik katmanını hedefleyin. Bir katmanı atlamak, diğerlerinin otomatik olarak atlandığı anlamına gelmez.

Düzeltmeyi tarama ve dizine ekleme olarak ayrı izleyin​

Değişiklikten sonra aynı sayfada canlı testi yeniden çalıştırın. Testin getirdiği sayfada gerçek içeriğin bulunduğunu kontrol edin; yalnız olumlu durum mesajıyla yetinmeyin. Düzenli Googlebot erişimini ayrıca doğrulanmış Googlebot istekleri üzerinden değerlendirin. Skip kuralı kullandıysanız Log matching requests seçeneğini açık tutmak eşleşmeleri izlemeyi sağlar; kapatıldığında bu istekler Security Events’te görünmez.

Erişim düzeldikten sonra önemli sayfalar için Search Console’dan yeniden tarama isteyebilirsiniz. Aynı sayfayı tekrar tekrar göndermek taramayı hızlandırmaz. Yeniden tarama isteği, sayfanın hemen veya mutlaka dizine ekleneceği anlamına da gelmez; erişim engelinin kalkması ile dizine eklenme kararı ayrı değerlendirilmelidir.