- Konu sahibi
- #1
Search Console’daki robots.txt raporu, Google’ın dosyayı alıp işleyebilmesini ve son alınan sürümdeki sorunları gösterir. Belirli bir sayfanın tarama engelini ise URL Denetleme ile ayrıca kontrol edersiniz. Raporu eski robots.txt Tester ekranıyla aynı araç gibi kullanmayın. Önce alan adının kök dizinindeki dosyanın Google tarafından okunup okunamadığını kontrol edin; ardından sorunlu URL’yi URL Denetleme aracında inceleyin. robots.txt bir URL’nin taranmasını engeller, tek başına arama sonuçlarından kaldırılmasını garanti etmez.
Dosya, alan adının kökünde bulunmalıdır:
Örneğin aşağıdaki dosya,
Bu örnekte
Denetimde görülen sonucun anlamını şu şekilde ayırabilirsiniz:
Tüm siteyi yanlışlıkla kapatmak için
robots.txt içine
robots.txt nasıl çalışır?
Dosya, alan adının kökünde bulunmalıdır:
https://example.com/robots.txt. Her kural grubu bir User-agent satırıyla başlar. Disallow taranmasına izin verilmeyen yolu, Allow ise izin verilen yolu belirtir. Kural yolu genellikle alan adından sonraki bölümle karşılaştırılır; kural tam origin yerine / ile başlayan yolu hedefler. Yolun dosya adı ve sorgu dizesi eşleşmeye katılabilir; büyük/küçük harf ve kullanılan * veya $ desenleri sonucu etkiler.Örneğin aşağıdaki dosya,
/private/ altındaki yolları engellerken istisna olarak public-report.html dosyasına izin verir:
Kod:
User-agent: *
Disallow: /private/
Allow: /private/public-report.html
Sitemap: https://example.com/sitemap.xmlBu örnekte
https://example.com/private/test.html taramaya kapalı, https://example.com/private/public-report.html ise daha özel Allow kuralı nedeniyle taramaya açıktır. Sitemap satırı tarama izni vermez; yalnızca site haritasının adresini bildirir.Search Console’da denetim adımları
- Doğru mülkü seçin. Alan adı varyantları, alt alan adları ve protokoller farklı mülk olarak değerlendirilebileceğinden denetlediğiniz URL’nin doğru mülke ait olduğunu kontrol edin.
- Search Console ayarlarından robots.txt raporunu açın. Google’ın son okuyabildiği dosyanın içeriğini, alınma durumunu ve varsa ayrıştırma uyarılarını inceleyin.
- Raporda dosyanın tam adresini, alınma durumunu, son kontrol zamanını ve varsa ayrıştırma sorunlarını inceleyin. Rapor dosya düzeyindedir; içine her URL’yi yazarak test edilen eski araç gibi düşünmeyin.
- Dosyada değişiklik yaptıysanız sunucudaki gerçek dosyayı da kontrol edin. Tarayıcıda kök dizindeki robots.txt dosyasını açıp kaydedilen içeriğin beklediğiniz sürüm olduğunu doğrulayın.
- URL Denetleme aracında aynı URL’yi inceleyin ve güncel erişim için canlı testi kullanın. robots.txt engeli ile dizine eklenmeme, sunucu hatası veya yönlendirme sorununu birbirinden ayırın.
- Değişiklik doğruysa Google’ın dosyayı yeniden almasını bekleyin ve raporu daha sonra tekrar kontrol edin. Rapordaki son alınan içerikle sunucuda yeni yayınlanan dosya aynı anda yenilenmeyebilir. Kritik erişim sorununu giderdiyseniz rapordaki ilgili dosya menüsünden yeniden tarama isteği kullanılabilir; bu anında uygulanma garantisi değildir.
Denetimde görülen sonucun anlamını şu şekilde ayırabilirsiniz:
| Sonuç | Anlamı | Sonraki adım |
|---|---|---|
| URL testinde taramaya izin var | Kural, test edilen yolu engellemiyor. | Sorun devam ediyorsa noindex, erişim kodu, yönlendirme ve sayfa içeriğini inceleyin. |
| URL testinde robots engeli var | Googlebot’un URL’yi taraması robots.txt kuralıyla sınırlandırılmış. | Engel kasıtlıysa bırakın; değilse ilgili Disallow veya Allow kuralını düzeltin. |
| Dosya alınamıyor veya ayrıştırılamıyor | Google robots.txt dosyasına erişemiyor ya da içeriği beklenen biçimde okuyamıyor olabilir. | Yanıt kodunu, sunucu erişimini, dosya biçimini ve kök dizin konumunu kontrol edin. |
| robots.txt sorunsuz, URL dizinde değil | Tarama izni verilmiş olsa da dizine ekleme başka bir nedenle gerçekleşmemiş olabilir. | URL Denetleme ayrıntılarında noindex, canonical, kalite veya keşfedilme durumunu inceleyin. |
Sık yapılan hatalar
Tüm siteyi yanlışlıkla kapatmak için
Disallow: / kullanmak en ciddi hatalardandır; bu satır User-agent: * grubunda olduğunda tüm yolları etkileyebilir. Yönetim panelini kapatmak isterken CSS, JavaScript veya görselleri de engellemek sayfanın Google tarafından eksik taranmasına yol açabilir. Kuralı eklemeden önce birkaç temsilî URL’yi test edin.robots.txt içine
noindex yazarak kaldırma yapmaya çalışmak da doğru yaklaşım değildir. İçeriğin arama sonuçlarından kaldırılması gerekiyorsa uygun noindex yöntemi veya Search Console’daki ilgili kaldırma işlemi ayrıca değerlendirilmelidir. Ayrıca robots.txt dosyasını alt dizine koymak, tüm alan adı için geçerli bir dosya oluşturmaz; dosya kök dizinde bulunmalıdır.