Robots.txt dosyası oluşturma

Robots.txt dosyası oluşturmak için düz metin düzenleyicide UTF-8 kodlamasıyla bir dosya hazırlayın, adını tam olarak robots.txt yapın ve ilgili sitenin kök web dizinine yükleyin. Ardından dosyanın dışarıdan okunabildiğini ve örnek URL'lere beklediğiniz kuralların uygulandığını ayrı ayrı kontrol edin.

Önce dosyanın nasıl yönetildiğini kontrol edin​

Mevcut bir siteniz varsa önce kökteki robots.txt içeriğini inceleyin. Barındırma hizmeti veya CMS bu yanıtı otomatik üretiyor olabilir. Böyle bir durumda fiziksel dosya yüklemek yerine sistemin sunduğu arama motoru ayarları kullanılıyor olabilir; mevcut yöntemi belirlemeden dosyanın üzerine yazmayın.

Elinizdeki içeriğin bir kopyasını koruyun. Word gibi biçimlendirilmiş belge programı yerine düz metin düzenleyici kullanın. Dosyanın gerçek adı robots.txt.txt olmamalı; sunucudaki dosya adını ve uzantıyı kontrol edin.

User-agent, Disallow ve Allow satırlarını yazın​

Varsayımsal bir sitede yönetim ve arama yollarının taranmasını sınırlayıp aramanın belirli bir bölümünü açık bırakmak istediğinizi düşünelim:


User-agent grubu, kuralların hangi tarayıcı için yazıldığını belirtir. * genel gruptur; belirli tarayıcı için ayrıca daha özel bir grup varsa uygulanacak grup o tarayıcının eşleştirme kurallarına göre seçilir. Bütün botların kurallara uyacağı garanti değildir.

Disallow ve Allow satırlarında alan adı değil, kökten başlayan URL yolu kullanılır. Yolun büyük-küçük harfi önemlidir. Yukarıdaki /arama/ engeli altında /arama/genel-sonuclar/ daha özel bir izin oluşturur. Google eşleşen yol kurallarında daha özgül olanı seçer; eşit özgüllükte çelişen kurallarda daha az kısıtlayıcı olanı uygular.


Bunlar örnek dosyanın beklenen kural sonuçlarıdır. Kendi URL yollarınız farklıysa kuralları da buna göre değiştirin. Disallow: / kökten başlayan bütün yolları kapatır; boş Disallow: ise bir engel yolu tanımlamaz. Bu iki satırı karıştırmayın.

Dosyayı yükleyin ve sonucu doğrulayın​

1. Dosyayı UTF-8 biçiminde ve küçük harfli robots.txt adıyla kaydedin.
2. Sitenin ilgili kök web dizinine FTP/SFTP, dosya yöneticisi veya mevcut yayın yöntemiyle yerleştirin. Bir alt klasörde bırakmayın.
3. Özel bir tarayıcı penceresinde https://example.com/robots.txt gibi kendi kök adresinizi açın. Oturum gerekmeksizin düz metin içerik dönmesini kontrol edin; giriş ekranı veya HTML hata sayfası aynı sonuç değildir.
4. Search Console'daki robots.txt raporundan dosyanın Google tarafından getirilebildiğini ve bildirilen ayrıştırma sorunlarını inceleyin. Yerel kural testi gerekiyorsa Google'ın açık kaynak robots.txt ayrıştırıcısı örnek URL'lerle test için kullanılabilir.
5. Açık ve kapalı kalmasını istediğiniz temsilî yolları beklenen sonuçlarla karşılaştırın. Sorun varsa doğru dosyanın sunulduğunu, doğru User-agent grubunu ve yol eşleşmesini kontrol edin.

Dosyanın tarayıcıda açılması yalnızca erişilebilirliği gösterir; her kuralın amacınıza uygun olduğunu kanıtlamaz. Robots.txt bir güvenlik duvarı veya parola koruması değildir. Hassas alanların korunması için sunucu veya uygulama tarafında erişim denetimi gerekir.

Sık sorulan sorular​

Alt alan adı aynı robots.txt dosyasını mı kullanır?​

Dosyanın kapsamı protokol, host ve portla ilişkilidir. Ana alan adı ile ayrı alt alan adını aynı kapsam sanmayın; her hedefin kendi kökündeki dosyayı kontrol edin. Fiziksel dosyaları aynı dizinden sunmak, farklı hostların kapsamını otomatik birleştirmez.

Yüklediğim değişiklik neden hemen uygulanmıyor?​

Tarayıcılar dosyanın önbellekteki kopyasını kullanabilir. Önce sunucunun yeni içeriği döndürdüğünü doğrulayın. Google'ın önbellekteki kopyasını daha erken yenilemek gerekiyorsa Search Console'daki robots.txt raporunun yeniden tarama isteği kullanılabilir; isteğin verilmesi anında uygulanma garantisi değildir.