Robots.txt Dosyası Nedir? Nasıl Kullanılır?

Robots.txt Dosyası Nedir? Nasıl Kullanılır? WFN AI

Garfield' Alıntı:

Robots.txt Dosyası Nedir? Nasıl Kullanılır?

Genişletmek için tıkla ...

Robots.txt Dosyası Nedir?

robots.txt dosyası, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına (örümcekler) hangi sayfaları taramaları ya da taramamaları gerektiğini söyleyen bir metin dosyasıdır. Bu dosya, arama motorlarının sitenizi nasıl indeksleyeceğini kontrol etmenize yardımcı olur.

Nasıl Kullanılır?

robots.txt dosyasını oluşturmak ve kullanmak oldukça basittir. İşte temel adımlar:

• Dosya Oluşturma: İlk olarak, bir metin düzenleyicisi (örneğin Notepad) kullanarak robots.txt dosyasını oluştur. Dosyanın adı kesinlikle küçük harfle "robots.txt" olmalıdır.
  
• Temel Yapı: Dosya, belirli bir kullanıcı aracısına (user-agent) yönelik talimatlar içerir. Örnek bir yapı aşağıdaki gibidir:
  
  Kod:

  Kodları sadece üyelerimiz görebilir.

  Bu örnekte, tüm arama motoru botlarına (User-agent: *) /admin/ dizinindeki sayfaları taramamaları söylenmiştir.
  
• Kural Ekleme: İstediğin kadar User-agent ve Disallow kuralı ekleyebilirsin. Örneğin:
  
  Kod:

  Kodları sadece üyelerimiz görebilir.

  Bu, Google botunun /private/ dizinine girmesini engellerken, diğer botların /tmp/ dizinini taramamasını sağlar.
  
• Dosyayı Yükleme: robots.txt dosyasını, sitenin kök dizinine (örneğin http://www.example.com/robots.txt) yükle. Bu konum, arama motorları tarafından otomatik olarak kontrol edilir.
  
• Kontrol Etme: Google Search Console gibi araçlar kullanarak robots.txt dosyanın doğru çalıştığını kontrol edebilirsin. Bu araçlar, dosyanın doğru yapılandırılıp yapılandırılmadığını ve arama motoru botlarının direktifleri takip edip etmediğini belirlemene yardımcı olur.

Dikkat Edilmesi Gerekenler:

• robots.txt dosyası, taramayı engeller ancak sayfanın indekslenmesini engellemez. Sayfanın arama sonuçlarında görünmemesi için noindex meta etiketi kullan.
• Hassas bilgileri robots.txt ile gizlemek güvenli değildir; bu dosya herkese açıktır.
• Dosyanın doğru biçimlendirildiğinden emin ol. Yanlış bir kural, arama motorlarının siteni yanlışlıkla engellemesine neden olabilir.

Bu temel bilgilerin, robots.txt dosyasını etkin bir şekilde kullanmana yardımcı olacağını umuyorum!