Robots.txt User-agent grupları

Robots.txt içindeki User-agent grubu, hangi tarayıcı botlarının hemen altındaki Allow ve Disallow kurallarına tabi olduğunu belirler. Her grup bir veya daha fazla User-agent satırıyla başlar; grup sınırı yalnız boş satıra bağlı değildir. Kural satırlarından sonra başlayan yeni User-agent yeni grup oluşturur; kurallardan önce art arda yazılan User-agent satırları aynı kuralları paylaşabilir. Belirli bir bot için özel grup varsa, genel * grubunun kurallarıyla rastgele birleştirileceğini varsaymayın.

Grup yapısı nasıl çalışır?​

Bir User-agent satırı, tarayıcının gönderdiği tüm HTTP User-Agent metni değildir; botun tanımlayıcı ürün adını belirtir. Örneğin Googlebot belirli botu, * ise özel olarak tanımlanmamış tüm botları temsil eder. Bot adları büyük-küçük harfe duyarlı olmadan değerlendirilir.

Her grubun yapısı şöyledir:


Disallow erişilmemesi gereken yolu, Allow ise izin verilen yolu belirtir. Disallow: değerinin boş bırakılması, o grup için engelleme kuralı olmadığı anlamına gelir. Disallow: / ise alan adının kökünden başlayan tüm yolları engeller.

Somut örnek​

Aşağıdaki dosyada Googlebot için özel bir kural, diğer botlar içinse genel bir kural vardır:


Bu örnekte Googlebot /taslaklar/ yolunu taramamalı, ancak açıkça izin verilen CSS dosyasını tarayabilir. Genel gruptaki /yonetim/ ve /gecici/ kuralları, Googlebot grubuna otomatik olarak eklenmiş sayılmamalıdır. Özel grupta Googlebot için ayrıca engellemek istediğiniz bir yol varsa onu aynı gruba yazın.

Örneğin kararları şöyle okunur:
Bu tablo örnek dosyaya aittir; gerçek yönetim alanını gizlemek için robots kurallarına güvenilmez.

Doğru grubu oluşturma ve kontrol etme​

Robots.txt dosyası sitenin kök adresinde, alan adının /robots.txt yolunda ve düz metin olarak sunulmalıdır. Uygularken şu sırayı izleyin:

1. Önce hangi botu hedeflediğinizi kararlaştırın. Belirli bir bot için User-agent: Googlebot gibi ürün adını; tüm botlar için User-agent: * kullanın.
2. Aynı botun kurallarını tek bir grupta toplayın. Google aynı bot için eşleşen eşit özgüllükteki grupları birleştirir; ancak genel yıldız grubuyla özel grubu birleştirmez. Tek grupta toplamak bakım kolaylığıdır, birleşme yoktur anlamına gelmez.
3. Her bağımsız grubu boş satırla ayırın ve her Allow veya Disallow yolunu kökten başlayan biçimde yazın.
4. Dosyayı sitenin kök dizinine yerleştirin. Örneğin alan adınız example.com ise tarayıcıda example.com/robots.txt açıldığında dosyanın içeriği görünmelidir.
5. Engellenen ve izin verilen örnek URL'leri bir robots.txt test aracıyla veya ilgili botun resmî test yöntemiyle kontrol edin. Başarılı sonuç, hedef yol için beklediğiniz “izin verildi” veya “engellendi” kararının gösterilmesidir.

Dosya açılmıyor, farklı bir içerik dönüyor veya beklenmeyen karar çıkıyorsa önce dosyanın kök konumunu, sunucunun verdiği metin yanıtını, boş satırları ve bot adının doğru yazımını kontrol edin. Robots.txt kuralı botun uymasını istediğiniz tarama talimatıdır; sunucu erişimini zorla kapatmaz. Gizli bir içeriği korumak için kimlik doğrulama veya sunucu erişim kontrolü gerekir.

Sık yapılan anlamlı hatalar​

• Özel bot grubuna yazılan kuralların * grubundan da miras kaldığını sanmak. Gerekli genel engelleri özel gruplarda da açıkça tanımlayın.
• Birden fazla User-agent satırını yanlışlıkla ayrı grup sanmak. Boş satır tek başına belirleyici değildir; araya Allow/Disallow gibi kurallar girip girmediğine bakın.
• Dosyayı /robots.txt yerine bir alt dizine koymak. Botlar standart olarak alan adının kök dosyasını kontrol eder.
• Engellenen URL'nin arama sonuçlarında hiç görünmeyeceğini varsaymak. Tarama engeli, sayfanın indekslenmesini tek başına garanti etmez; indeksleme ve erişim hedefi ayrı değerlendirilmelidir.
• Önceki kuralları etkisizleştirmek için Allow eklediğini sanmak. Çakışan yolların değerlendirilmesi botun desteklediği robots.txt yorumuna ve yol eşleşmesine bağlıdır; bu nedenle sonucu gerçek testle doğrulayın.
  

Sık sorulan sorular​

Dosyadaki grubun sırası Google’da öncelik sağlar mı?​

Tek başına hayır. Önce botun eşleştiği grup seçilir; sonra yol kuralları değerlendirilir. Google aynı özgüllükteki eşleşen grupları birleştirebilir. Daha uzun eşleşen yol belirleyicidir; eşit uzunlukta Allow ve Disallow çatışırsa Allow tercih edilir. En üste taşımayı genel bir düzeltme saymayın.

Sitemap satırı iki User-agent grubunu kesin ayırır mı?​

Google’ın robots kural ayrıştırıcısı Sitemap satırını grup sınırı oluşturan Allow/Disallow kuralı gibi işlemez. İki bot adı arasında yalnız Sitemap veya boş satır bulunması onları beklediğiniz gibi ayırmayabilir. Bildirimi ayrı bir bilgi olarak değerlendirin; gerçek grupları kurallarıyla birlikte okuyun.