- Konu sahibi
- #1
Robots.txt kontrol aracı, bir robots.txt dosyasının okunabilirliğini, kural yapısını veya belirli bir botun belirli URL'yi tarayıp tarayamayacağını incelemeye yardımcı olur. Bu üç kontrol aynı şey değildir. Dosyanın tarayıcıda açılması kuralların doğru olduğunu, bir URL'ye tarama izni verilmesi de sayfanın dizine ekleneceğini göstermez.
Google için dosya durumunu Search Console'daki robots.txt raporundan, belirli bir sayfanın erişimini ise URL Denetleme aracından inceleyebilirsiniz. Bir kural doğrulayıcısı kullanıyorsanız hangi botu ve hangi dosya sürümünü test ettiğini de kontrol edin.
Dosya sitenin kökünde
Yanıtı açıp yalnız görünen metne bakmayın; HTTP durum kodunu da inceleyin. Dosya beklenen düz metin içeriğiyle sunulmalı; giriş ekranı, HTML hata sayfası veya yanlış yönlendirme dosyanın yerine geçmemelidir. Kontrol edeceğiniz URL farklı bir alt alan adındaysa onun kök dosyasını kullanın.
Aşağıdaki örnekte Googlebot için bir yol engellenir. Daha özel grubu bulunmayan, kurallara uyan diğer botlar yıldız grubunu kullanır:
Bu dosya yönetim panelini güvenli hâle getirmez. Robots.txt herkese açıktır ve erişim yetkilendirmesi sağlamaz; özel alanların ayrıca kimlik doğrulama ve yetki kontrolüyle korunması gerekir.
Bir sayfayı arama sonuçlarından çıkarmak için yalnız Disallow eklemek yeterli değildir; URL başka bağlantılardan biliniyorsa sonuçlarda görünebilir. Noindex kullanacaksanız botun sayfayı tarayıp bu kuralı okuyabilmesi gerekir. Sayfayı aynı anda robots.txt ile engellemek noindex'in görülmesini önleyebilir.
Ayrıca satırların sırasını tek başına öncelik sanmayın, yolun büyük/küçük harfini gözden kaçırmayın ve geçici
Hayır. Google, 404 gibi 429 dışındaki 4xx yanıtlarını genellikle robots.txt yokmuş gibi değerlendirir. 5xx veya ağ hatalarında ise tarama durabilir ve önceki geçerli dosya kullanılabilir. Bu nedenle dosya bulunmamasıyla dosyaya geçici olarak ulaşılamamasını ayırın.
Herkese açık dosyayı okuyabilir ve bir kural doğrulayıcısında inceleyebilirsiniz. Ancak Search Console mülk raporları ve URL Denetleme için ilgili siteye yetkili erişim gerekir. Dışarıdan yapılan test, site sahibinin Google'da gördüğü tüm tarama ve dizin verilerini göstermez.
Google için dosya durumunu Search Console'daki robots.txt raporundan, belirli bir sayfanın erişimini ise URL Denetleme aracından inceleyebilirsiniz. Bir kural doğrulayıcısı kullanıyorsanız hangi botu ve hangi dosya sürümünü test ettiğini de kontrol edin.
Önce doğru dosyayı bulun
Dosya sitenin kökünde
/robots.txt adıyla bulunur. Örneğin https://example.com/robots.txt yalnız aynı protokol, ana makine adı ve port kapsamındaki URL'ler için geçerlidir. HTTP ile HTTPS, www ile www'suz adres ve farklı alt alan adları aynı dosyayı otomatik paylaşmaz.Yanıtı açıp yalnız görünen metne bakmayın; HTTP durum kodunu da inceleyin. Dosya beklenen düz metin içeriğiyle sunulmalı; giriş ekranı, HTML hata sayfası veya yanlış yönlendirme dosyanın yerine geçmemelidir. Kontrol edeceğiniz URL farklı bir alt alan adındaysa onun kök dosyasını kullanın.
Bir örneği doğru yorumlama
Aşağıdaki örnekte Googlebot için bir yol engellenir. Daha özel grubu bulunmayan, kurallara uyan diğer botlar yıldız grubunu kullanır:
Kod:
User-agent: Googlebot
Disallow: /admin/
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml/admin/rapor.html yolu Googlebot grubunda engellenir; diğer yollar için bu grupta engel yoktur. Googlebot'a özel grup, yıldız grubuyla birleştirilmez. Aynı bot için birden fazla geçerli grup varsa ilgili kurallar birleştirilebilir. Yol eşleşmesinde daha özgül, daha uzun eşleşen kural belirleyicidir; eşdeğer Allow ve Disallow çakışmasında izin veren kural önceliklidir.Bu dosya yönetim panelini güvenli hâle getirmez. Robots.txt herkese açıktır ve erişim yetkilendirmesi sağlamaz; özel alanların ayrıca kimlik doğrulama ve yetki kontrolüyle korunması gerekir.
Hangi kontrol neyi gösterir?
| Kontrol | Gösterdiği bilgi | Sınırı |
|---|---|---|
| Dosyayı ve HTTP yanıtını açma | Şu anda sunulan içerik ve yanıt kodu | Google'ın önbelleğindeki sürümü kanıtlamaz |
| Search Console robots.txt raporu | Son alma durumu, zaman ve ayrıştırma sorunları | Her URL için ayrı kural testi değildir |
| URL Denetleme ve canlı test | Belirli sayfanın tarama/erişim bilgisi | Dizine eklenme garantisi vermez |
| Kural doğrulayıcısı | Verilen dosya, bot ve URL için eşleşme | Kullanılan sürüm ve ayrıştırıcıya bağlıdır |
Uygulanabilir kontrol sırası
- Tam hedef URL'yi, beklediğiniz sonucu ve kontrol edeceğiniz botu belirleyin. Önemli sayfa taranmalı mı, yoksa belirli yol engellenmeli mi?
- İlgili kök robots.txt dosyasını alın; durum kodunu ve içeriğini karşılaştırın. Ana makine adı, protokol ve portu karıştırmayın.
- Search Console'da doğru mülkü seçip robots.txt raporunun son kontrol zamanını, alma durumunu ve ayrıştırma uyarılarını inceleyin. Raporun görülebilmesi için uygun mülk ve erişim yetkisi gerekir.
- Belirli sayfayı URL Denetleme ile inceleyin. Varsayılan sonuç geçmişteki dizinleme verisini gösterebildiğinden, güncel değişikliği değerlendirirken canlı testi ayrıca kullanın.
- Gerekirse doğrulayıcıda botu ve tam URL'yi seçip eşleşen kuralı bulun. Önemli sayfa, engellenmesi gereken yol ve gerekli CSS/JavaScript kaynaklarıyla birkaç örnek test edin.
- Yalnız hatalı kuralı düzeltin. Dosyayı yayımladıktan sonra gerçek yanıtı yeniden kontrol edin; Search Console raporunda gerektiğinde yeniden alma talebi gönderin. Raporun hemen güncelleneceğini varsaymayın.
Sık yapılan hatalar
Bir sayfayı arama sonuçlarından çıkarmak için yalnız Disallow eklemek yeterli değildir; URL başka bağlantılardan biliniyorsa sonuçlarda görünebilir. Noindex kullanacaksanız botun sayfayı tarayıp bu kuralı okuyabilmesi gerekir. Sayfayı aynı anda robots.txt ile engellemek noindex'in görülmesini önleyebilir.
Ayrıca satırların sırasını tek başına öncelik sanmayın, yolun büyük/küçük harfini gözden kaçırmayın ve geçici
Disallow: / kuralını yayında unutmayın. Bir doğrulayıcının “izin var” sonucu; sunucu hatasını, kullanıcı yetkisini veya sayfanın içerik kalitesini denetlemiş sayılmaz.Sık sorulan sorular
Robots.txt için 404 ile 503 aynı sonucu mu verir?
Hayır. Google, 404 gibi 429 dışındaki 4xx yanıtlarını genellikle robots.txt yokmuş gibi değerlendirir. 5xx veya ağ hatalarında ise tarama durabilir ve önceki geçerli dosya kullanılabilir. Bu nedenle dosya bulunmamasıyla dosyaya geçici olarak ulaşılamamasını ayırın.
Sitem bana ait değilse kontrol yapabilir miyim?
Herkese açık dosyayı okuyabilir ve bir kural doğrulayıcısında inceleyebilirsiniz. Ancak Search Console mülk raporları ve URL Denetleme için ilgili siteye yetkili erişim gerekir. Dışarıdan yapılan test, site sahibinin Google'da gördüğü tüm tarama ve dizin verilerini göstermez.
