İçindekiler
  1. Robots.txt Hataları Nasıl Tespit Edilir?​
  2. 1. Google Search Console ile kontrol et​
  3. 2. URL Denetleme Aracı ile test yap​
  4. 3. Robots.txt dosyasını manuel incele​
  5. 4. Log ve bot davranışlarını analiz et​
  6. En Yaygın Robots.txt Hataları​
  7. 1. Tüm siteyi yanlışlıkla engellemek​
  8. 2. Konu URL’lerini engellemek (forumlar için kritik)​
  9. 3. Query parametrelerini aşırı engellemek​
  10. 4. Yanlış klasör engelleme​
  11. Robots.txt Hataları Nasıl Düzeltilir?​
  12. 1. Doğru yapı kur​
  13. 2. Engellediğin URL’leri tek tek test et​
  14. 3. Sitemap ile destekle​
  15. 4. Değişiklikten sonra yeniden gönder​
  16. Kritik İpucu (Gerçek Hayat Deneyimi)​
  17. Kısa Özet​
Robots.txt dosyası, arama motoru botlarına sitenin hangi bölümlerini tarayıp taramayacağını söyleyen kritik bir kontrol mekanizmasıdır. Küçük bir hata bile tüm sitenin index dışı kalmasına neden olabilir. Özellikle forum sitelerinde (XenForo gibi) yanlış bir kural, konuların hiç index almamasına yol açar. Bu yüzden robots.txt hem doğru yazılmalı hem de düzenli kontrol edilmelidir.

🔍 Robots.txt Hataları Nasıl Tespit Edilir?​

1. Google Search Console ile kontrol et​

En güvenilir yöntem burasıdır.
  • “Sayfa dizine ekleme” raporuna gir
  • “Robots.txt tarafından engellendi” uyarılarını incele
  • Engellenen URL’leri tek tek kontrol et
👉 Eğer önemli sayfalar burada görünüyorsa, robots.txt hatalıdır.

2. URL Denetleme Aracı ile test yap​

  • Bir konu URL’sini gir (/konular/...)
  • “Tarama” bölümüne bak
  • Eğer “robots.txt ile engellendi” diyorsa sorun netleşir

3. Robots.txt dosyasını manuel incele​

Tarayıcıya şunu yaz:
siteadresin.com/robots.txt
Şunlara dikkat et:
  • Yanlış klasör engelleme (Disallow: / gibi)
  • Geniş kapsamlı wildcard kullanımı (/*?)
  • Önemli dizinlerin yanlışlıkla bloklanması

4. Log ve bot davranışlarını analiz et​

  • Googlebot hangi URL’leri tarıyor?
  • Sürekli gereksiz sayfalara mı gidiyor?
👉 Crawl bütçesi yanlış kullanılıyor olabilir.

⚠️ En Yaygın Robots.txt Hataları​

❌ 1. Tüm siteyi yanlışlıkla engellemek​

User-agent: *
Disallow: /
👉 Bu, sitenin tamamını Google’dan siler.

❌ 2. Konu URL’lerini engellemek (forumlar için kritik)​

Disallow: /konular/
👉 Tüm içerik çöpe gider.

❌ 3. Query parametrelerini aşırı engellemek​

Disallow: /*?
👉 Bu, bazen gerçek sayfaları da engeller.

❌ 4. Yanlış klasör engelleme​

Disallow: /forumlar/
👉 Kategori sayfaları bile index almaz.

✅ Robots.txt Hataları Nasıl Düzeltilir?​

1. Doğru yapı kur​

Forum siteleri için ideal temel yapı:
User-agent: *
Disallow: /account/
Disallow: /search/
Disallow: /misc/
Disallow: /*?_xfResponseType=
Disallow: /*?_xfWithData=

Allow: /konular/
Allow: /forumlar/

Sitemap: https://siteadresin.com/sitemap.php
👉 Amaç: Gereksiz sayfaları kapat, içerikleri açık bırak.

2. Engellediğin URL’leri tek tek test et​

Her değişiklikten sonra:
  • GSC → URL Denetleme
  • “Canlı URL’yi test et”
  • Tarama izin durumunu kontrol et

3. Sitemap ile destekle​

Robots.txt tek başına yeterli değildir.
  • Sitemap mutlaka ekli olmalı
  • İçinde sadece indexlenmesi gereken URL’ler bulunmalı

4. Değişiklikten sonra yeniden gönder​

Robots.txt güncelledikten sonra:
  • GSC → robots.txt test aracı
  • Tekrar kontrol et
  • Gerekirse sitemap’i yeniden gönder

💡 Kritik İpucu (Gerçek Hayat Deneyimi)​

Forum sitelerinde en büyük hata şu:
👉 “Crawl budget koruyayım” diye fazla engelleme yapmak
Sonuç:
  • Google siteyi keşfedemez
  • Konular index almaz
  • Trafik düşer
📌 Doğru yaklaşım:
  • Gereksiz sayfaları engelle
  • Ama içerik sayfalarına ASLA dokunma

🔚 Kısa Özet​

Robots.txt hataları genelde fark edilmez ama etkisi çok büyüktür. Tespit için en iyi araç Google Search Console’dur. Düzenleme yaparken ana kural basit: Google’a neyi taramaması gerektiğini söyle, ama asıl içeriğe asla engel koyma.