Robots.txt Nedir? Doğru Kullanımı Nasıl Olmalı?
- Konuyu Başlatan Garfield
- Başlangıç tarihi
- Cevaplar 1
- Görüntüleme 14
-
- Etiketler
- robots.txt seo web yönetimi
Yönetici
Kısaca robots.txt nedir?
Robots.txt, sitenin kök dizininde (ör:
siteadi.com/robots.txt) bulunan, arama motoru botlarına hangi dizin ve sayfaları tarayabileceklerini, hangilerini tarayamayacaklarını söyleyen basit bir metin dosyasıdır.Temel amaçları:
- Gereksiz sayfaların (admin, sepet, filtre url’leri vb.) taranmasını engellemek
- Sunucu yükünü azaltmak
- Bazı alanları botlardan gizlemek (tam gizlilik için yeterli değildir, sadece “rica” niteliğindedir)
- Site haritasını (sitemap) botlara bildirmek
Robots.txt ile neler yapılabilir / neler yapılamaz?
Yapabileceklerin:
- Belirli dizin veya URL’leri taramayı engellemek:
Disallow - Belirli dizin veya URL’lere taramayı izin vermek:
Allow - Sadece belirli botlara (ör: Googlebot, Bingbot) özel kurallar yazmak:
User-agent - Site haritası yolunu bildirmek:
Sitemap
Yapamayacakların (yanlış bilinenler):
- Robots.txt ile indekslemeyi garanti şekilde engelleyemezsin; sadece taramayı kısıtlayabilirsin.
- Robots.txt, sayfanın tamamen gizli kalmasını sağlamaz. URL bir yerde linkliyse yine görünebilir.
- Güvenlik için (şifreli alanlar, gizli klasörler) robots.txt kullanmak yanlıştır.
Temel robots.txt söz dizimi (syntax)
En çok kullanılan komutlar:
- User-agent: Kuralın hangi bota ait olduğunu belirtir.
- Disallow: Bu yolu tarama.
- Allow: Bu yolu tara (özellikle genel bir Disallow’u esnetmek için).
- Sitemap: Site haritası adresini belirtir.
Basit bir örnek:
Kod:
Kodları sadece üyelerimiz görebilir.Anlamı:
- Tüm botlar (
*) için geçerli. /wp-admin/dizinini tarama.- Ama
admin-ajax.phpdosyasına izin ver. - Site haritam bu adreste.
Doğru robots.txt kullanımı nasıl olmalı?
1. Dosya mutlaka kök dizinde olmalı
Doğru:
https://www.siteadi.com/robots.txt Yanlış:
https://www.siteadi.com/dosya/robots.txt (botlar bunu dikkate almaz)2. Gereksiz yere agresif Disallow kullanma
Yanlış örnek (çok riskli):
Kod:
Kodları sadece üyelerimiz görebilir.Bu, sitenin tamamını taramayı kapatır. Canlı sitede kesinlikle kullanılmamalı.
3. Tarama kısıtlaması ile indeks kontrolünü karıştırma
Bir sayfanın arama sonuçlarında görünmesini engellemek için asıl tercih edilmesi gereken yöntem:
- Sayfanın kendisine
noindexmeta etiketi eklemek
Örnek meta:
HTML:
Kodları sadece üyelerimiz görebilir.Eğer bir URL’yi robots.txt ile Disallow edersen:
- Google o sayfayı taramayabilir
- Ama başka sitelerden link alıyorsa veya daha önce keşfetmişse, URL yine sonuçlarda görünebilir (içerik olmadan)
4. Örnek: Standart bir WordPress robots.txt
Kod:
Kodları sadece üyelerimiz görebilir.5. Örnek: Basit bir kurumsal site robots.txt
Kod:
Kodları sadece üyelerimiz görebilir.6. Belirli botlar için özel kural yazma
Kod:
Kodları sadece üyelerimiz görebilir.Burada:
- Googlebot için özel ek bir kural var.
- Tüm diğer botlar için genel kural geçerli.
Robots.txt yazarken dikkat edilmesi gereken kritik noktalar
- Canlı sitede değişiklik yapmadan önce mutlaka yedek robots.txt içeriğini sakla.
- Geliştirme ortamında (test/stage) sitenin indekslenmesini istemiyorsan:
Kod:
Kodları sadece üyelerimiz görebilir.(bu sadece test ortamında kalmalı, canlıya taşınmamalı)
- Google Search Console içindeki URL Denetleme ve eski “robots.txt tester” araçları ile kurallarını kontrol et.
Sitemapsatırını mutlaka ekle; büyük sitelerde tarama verimliliğini artırır.- Dosya kodlaması UTF-8 (BOM’suz) düz metin olmalı.
- Satır sonlarında fazladan karakter, Türkçe özel karakter kaynaklı bozulma olmamasına dikkat et.
En sade, çoğu site için yeterli bir örnek
Kod:
Kodları sadece üyelerimiz görebilir.Sonuç
Robots.txt, SEO ve tarama yönetimi için temel ama hassas bir dosya. Amacın:
- Önemli sayfaların taranmasına izin vermek
- Gereksiz / tekrar eden veya teknik sayfaların taranmasını azaltmak
- Ama yanlış bir Disallow ile sitenin önemli bölümlerini kazara kapatmamak
Sende şimdi bize katılmak ister misin?
Kayıt ol
Bize katılım kolay ve ücretsizdir!
Giriş Yap
Zaten bir hesabınız var mı? Buradan giriş yapın.
Benzer Konular
Bu konuyu görüntüleyen kullanıcılar
Haftanın Trendleri
Ayın Trendleri
Dikkat!
İçerik sağlayıcı paylaşım sitesi olarak hizmet veren WebmasterForum.NET adresimizde, 5651 Sayılı Kanun’un 8. maddesi ile Türk Ceza Kanunu’nun 125. maddesi uyarınca, üyelerimiz tarafından yapılan tüm paylaşımların hukuki sorumluluğu ilgili üyeye aittir. WebmasterForum.NET hakkında yapılacak tüm hukuki şikayetler, iletişim bağlantımız üzerinden tarafımıza iletildikten sonra en geç 3 (üç) gün içerisinde ilgili mevzuat çerçevesinde incelenecek, gerekli işlemler yapılacak ve başvuru sahibine bilgi verilecektir.