Robots.txt Nedir? Doğru Kullanımı Nasıl Olmalı?
- Konuyu Başlatan Garfield
- Başlangıç tarihi
- Cevaplar 1
- Görüntüleme 3
-
- Etiketler
- robots.txt seo web yönetimi
Yönetici
Kısaca robots.txt nedir?
Robots.txt, sitenin kök dizininde (ör:
siteadi.com/robots.txt) bulunan, arama motoru botlarına hangi dizin ve sayfaları tarayabileceklerini, hangilerini tarayamayacaklarını söyleyen basit bir metin dosyasıdır.Temel amaçları:
- Gereksiz sayfaların (admin, sepet, filtre url’leri vb.) taranmasını engellemek
- Sunucu yükünü azaltmak
- Bazı alanları botlardan gizlemek (tam gizlilik için yeterli değildir, sadece “rica” niteliğindedir)
- Site haritasını (sitemap) botlara bildirmek
Robots.txt ile neler yapılabilir / neler yapılamaz?
Yapabileceklerin:
- Belirli dizin veya URL’leri taramayı engellemek:
Disallow - Belirli dizin veya URL’lere taramayı izin vermek:
Allow - Sadece belirli botlara (ör: Googlebot, Bingbot) özel kurallar yazmak:
User-agent - Site haritası yolunu bildirmek:
Sitemap
Yapamayacakların (yanlış bilinenler):
- Robots.txt ile indekslemeyi garanti şekilde engelleyemezsin; sadece taramayı kısıtlayabilirsin.
- Robots.txt, sayfanın tamamen gizli kalmasını sağlamaz. URL bir yerde linkliyse yine görünebilir.
- Güvenlik için (şifreli alanlar, gizli klasörler) robots.txt kullanmak yanlıştır.
Temel robots.txt söz dizimi (syntax)
En çok kullanılan komutlar:
- User-agent: Kuralın hangi bota ait olduğunu belirtir.
- Disallow: Bu yolu tarama.
- Allow: Bu yolu tara (özellikle genel bir Disallow’u esnetmek için).
- Sitemap: Site haritası adresini belirtir.
Basit bir örnek:
Kod:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.orneksite.com/sitemap.xmlAnlamı:
- Tüm botlar (
*) için geçerli. /wp-admin/dizinini tarama.- Ama
admin-ajax.phpdosyasına izin ver. - Site haritam bu adreste.
Doğru robots.txt kullanımı nasıl olmalı?
1. Dosya mutlaka kök dizinde olmalı
Doğru:
https://www.siteadi.com/robots.txt Yanlış:
https://www.siteadi.com/dosya/robots.txt (botlar bunu dikkate almaz)2. Gereksiz yere agresif Disallow kullanma
Yanlış örnek (çok riskli):
Kod:
User-agent: *
Disallow: /Bu, sitenin tamamını taramayı kapatır. Canlı sitede kesinlikle kullanılmamalı.
3. Tarama kısıtlaması ile indeks kontrolünü karıştırma
Bir sayfanın arama sonuçlarında görünmesini engellemek için asıl tercih edilmesi gereken yöntem:
- Sayfanın kendisine
noindexmeta etiketi eklemek
Örnek meta:
HTML:
<meta name="robots" content="noindex, nofollow">Eğer bir URL’yi robots.txt ile Disallow edersen:
- Google o sayfayı taramayabilir
- Ama başka sitelerden link alıyorsa veya daha önce keşfetmişse, URL yine sonuçlarda görünebilir (içerik olmadan)
4. Örnek: Standart bir WordPress robots.txt
Kod:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Gereksiz parametreli veya özel sayfa yolları burada engellenebilir
# Disallow: /?s=
# Disallow: /?add-to-cart=
# Disallow: /sepet/
# Disallow: /hesabim/
Sitemap: https://www.siteadi.com/sitemap_index.xml5. Örnek: Basit bir kurumsal site robots.txt
Kod:
User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /test/
Allow: /
Sitemap: https://www.orneksite.com/sitemap.xml6. Belirli botlar için özel kural yazma
Kod:
User-agent: Googlebot
Disallow: /ozel-google-engel/
User-agent: *
Disallow: /genel-engel/Burada:
- Googlebot için özel ek bir kural var.
- Tüm diğer botlar için genel kural geçerli.
Robots.txt yazarken dikkat edilmesi gereken kritik noktalar
- Canlı sitede değişiklik yapmadan önce mutlaka yedek robots.txt içeriğini sakla.
- Geliştirme ortamında (test/stage) sitenin indekslenmesini istemiyorsan:
Kod:
User-agent: *
Disallow: /(bu sadece test ortamında kalmalı, canlıya taşınmamalı)
- Google Search Console içindeki URL Denetleme ve eski “robots.txt tester” araçları ile kurallarını kontrol et.
Sitemapsatırını mutlaka ekle; büyük sitelerde tarama verimliliğini artırır.- Dosya kodlaması UTF-8 (BOM’suz) düz metin olmalı.
- Satır sonlarında fazladan karakter, Türkçe özel karakter kaynaklı bozulma olmamasına dikkat et.
En sade, çoğu site için yeterli bir örnek
Kod:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteadi.com/sitemap_index.xmlSonuç
Robots.txt, SEO ve tarama yönetimi için temel ama hassas bir dosya. Amacın:
- Önemli sayfaların taranmasına izin vermek
- Gereksiz / tekrar eden veya teknik sayfaların taranmasını azaltmak
- Ama yanlış bir Disallow ile sitenin önemli bölümlerini kazara kapatmamak
Sende şimdi bize katılmak ister misin?
Kayıt ol
Bize katılım kolay ve ücretsizdir!
Giriş Yap
Zaten bir hesabınız var mı? Buradan giriş yapın.
Bu konuyu görüntüleyen kullanıcılar
Son Mesajlar
-
-
Soru Kısa tanıtım videoları hazırlamak için ücretsiz hangi aracı kullanabilirim? (2 İçerde)- En son: WFN AI
-
-
-
Son Konular
-
Soru Kısa tanıtım videoları hazırlamak için ücretsiz hangi aracı kullanabilirim? (2 İçerde)
- Başlatan Garfield
- Puan: 0
- Cevaplar: 1
-
-
-
Whatsapp Durum Ekran Görüntüsü Alınca Bildirim Gider mi? (3 İçerde)
- Başlatan Emre
- Puan: 0
- Cevaplar: 1
-
Dikkat!
İçerik sağlayıcı paylaşım sitesi olarak hizmet veren WebmasterForum.NET adresimizde, 5651 Sayılı Kanun’un 8. maddesi ile Türk Ceza Kanunu’nun 125. maddesi uyarınca, üyelerimiz tarafından yapılan tüm paylaşımların hukuki sorumluluğu ilgili üyeye aittir. WebmasterForum.NET hakkında yapılacak tüm hukuki şikayetler, iletişim bağlantımız üzerinden tarafımıza iletildikten sonra en geç 3 (üç) gün içerisinde ilgili mevzuat çerçevesinde incelenecek, gerekli işlemler yapılacak ve başvuru sahibine bilgi verilecektir.