Robots.txt ile tüm taramaya izin verme

Bir sitenin taranmasına genel olarak izin vermek için alan adının kök dizininde /robots.txt dosyasının seçilen bot grubunda yol engeli bırakmayın. Yalnız iki satırlık genel bir dosyanın örneği şöyledir:


Bu kural, robots.txt kurallarına uyan tarayıcılar için tüm yolların engellenmediği anlamına gelir. İsterseniz açık biçimde Allow: / da yazabilirsiniz; ancak aynı dosyada çelişen veya daha özel Disallow kuralları varsa sonuç yalnızca ilk iki satıra bakılarak yorumlanmamalıdır.

Robots.txt nasıl çalışır?​

Tarayıcı, siteyi taramaya başlamadan önce ilgili kaynağın kökündeki robots.txt dosyasını okumaya çalışır. User-agent: * genel tarayıcı grubunu, boş bırakılan Disallow satırı kendi başına bir yolu engellemez. Aynı grupta başka dolu Disallow satırı varsa onu iptal etmez.

Dosya yalnızca bulunduğu kaynak için geçerlidir. Ana alan adının robots.txt dosyası alt alan adlarını otomatik olarak yönetmez. Örneğin www.example.com ve shop.example.com farklı kaynaklar olarak değerlendirilir; her birinin kendi kök robots.txt dosyası olabilir.

Robots.txt erişim kontrolü değildir. Kurala uymayan bir bot dosyayı yok sayabilir. Ayrıca bu dosya, bir sayfanın taranmasını engellese bile sayfanın arama sonuçlarında görünmesini kesin olarak önlemez; gizli içerik veya hassas veriler robots.txt ile korunmamalıdır.

Uygulanabilir kurulum​

1. Web sunucunuzun alan adı kök dizininde, tam olarak robots.txt adında bir metin dosyası oluşturun. Dosya adı büyük-küçük harfe duyarlı sistemlerde küçük harflerle kullanılmalıdır.
2. Yeni ve yalnız genel izin amaçlı dosyada aşağıdaki kuralı kullanın. Mevcut dosyayı değiştirmeden önce bütün özel bot grupları, Sitemap bildirimleri ve engelleri inceleyin; örnekle körlemesine üzerine yazmayın:
   
   Kod:

   User-agent: *
   Disallow:

3. Dosyayı sitenin kök yolundan yayınlayın. Tarayıcıyla https://example.com/robots.txt adresini açtığınızda dosyanın içeriği görünmelidir; /robots.txt.txt gibi yanlış bir ad veya alt klasör kullanmayın.
4. Sunucudan başarılı bir HTTP yanıtı geldiğini komut satırından kontrol edin:
   
   Kod:

   curl -i https://example.com/robots.txt

5. Yanıtta başarılı bir durum kodu ve yukarıdaki iki satırın bulunduğunu doğrulayın. Dosya erişilemiyorsa, beklenmeyen HTML sayfası dönüyorsa veya eski içerik görünüyorsa önbellek, dağıtım katmanı ya da sunucu yönlendirmesini inceleyin.

Başarılı sonuç, robots.txt dosyasının genel tarama engeli içermediğini gösterir. Bu, her URL'nin kesinlikle taranacağı veya indeksleneceği anlamına gelmez; tarayıcıların kendi kuralları, sunucu yanıtları, bağlantılar ve sayfa kalitesi gibi başka etkenler ayrıca değerlendirilir.

Yaygın kuralların anlamı​

İzin kuralını başka satırlarla karıştırmamak için temel farkları şöyle değerlendirin:


Dosyada daha önce eklenmiş Disallow satırlarını gözden geçirmeden yalnızca yeni bir Allow: / satırı eklemeyin. Eski engeller, tarayıcı grubuna göre hâlâ geçerli olabilir. Aynı şekilde sunucu veya CDN katmanında robots.txt isteğine uygulanan yönlendirme, yetkilendirme ya da erişim hataları da dosya içeriğinin beklenen şekilde okunmasını engelleyebilir.

Sık yapılan hatalar​

En yaygın hata, robots.txt dosyasını sitenin kök dizini yerine bir alt klasöre koymaktır. İkinci hata, tüm taramaya izin vermek istenirken dosyada Disallow: / bırakmaktır. Üçüncü hata ise robots.txt ile özel içeriği korumaya çalışmaktır; erişim kısıtlaması gerekiyorsa sunucu yetkilendirmesi veya uygun uygulama erişim kontrolü kullanılmalıdır.

Sık sorulan sorular​

Robots.txt dosyası yoksa bütün site engellenir mi?​

Google açısından sıradan bir 404 yanıtı ile sunucu veya ağ hatası aynı değildir. Bulunmayan dosya genellikle robots yol kısıtı olmadığı anlamına gelir; 5xx ve bağlantı sorunları tarama davranışını farklı etkileyebilir. Yalnız tarayıcıda boş ekran gördüğünüz için yanıt kodunu varsaymayın.

Tarama izni, noindex veya oturum engelini kaldırır mı?​

Hayır. Robots kuralı tarama katmanını anlatır. Sayfada noindex bulunması, giriş gerekmesi veya sunucunun erişimi reddetmesi ayrı durumlardır. Tüm yolları robots içinde açmak, gizli içeriği herkese açma ya da her URL’yi indeksletme komutu değildir.