Rehber Robots.txt Tarafından Engellendi Ne Demek?

Bir sayfanın “robots.txt tarafından engellendi” uyarısı vermesi, arama motorlarının o URL’ye erişmesine bilinçli olarak izin verilmediği anlamına gelir. Bu durum genellikle Google Search Console gibi araçlarda görülür ve çoğu zaman teknik bir hata değil, yanlış yapılandırılmış bir robots.txt dosyasının sonucudur. Ancak önemli olan şu: Bir sayfa engellendiğinde Google o sayfayı tarayamaz, dolayısıyla içeriğini anlayamaz ve sağlıklı şekilde indeksleyemez.
Kullanıcılar bu hatayla genelde “neden sayfam index almıyor?” sorusunu araştırırken karşılaşır. Çünkü robots.txt engeli, içerik ne kadar kaliteli olursa olsun arama motorunun sayfaya ulaşmasını tamamen keser. Bu yüzden SEO açısından kritik bir konudur ve doğru yorumlanması gerekir. Özellikle forum, blog ve e-ticaret sitelerinde yanlış bir kural yüzünden yüzlerce sayfa fark edilmeden index dışı kalabilir.

---

Robots.txt Engeli Tam Olarak Nasıl Çalışır?​

Robots.txt, sitenin kök dizininde bulunan basit bir metin dosyasıdır ve arama motorlarına “hangi sayfaları tarayabilirsin, hangilerini tarayamazsın” talimatı verir. Bu dosya aslında bir güvenlik sistemi değil, bir yönlendirme ve izin mekanizmasıdır.
Bir sayfa engellendiğinde Google botu o URL’ye girmeden geri döner. Yani içerik hiç okunmaz. Bu durum özellikle şu iki senaryoda ortaya çıkar:

• Yanlışlıkla tüm siteyi engelleyen bir kural yazılmıştır
• Önemli sayfalar “Disallow” ile kapatılmıştır

Örneğin aşağıdaki basit kural:
User-agent: *
Disallow: /kategori/
Bu durumda “/kategori/” altındaki tüm sayfalar taramaya kapatılır. Eğer bu kategori sayfaları SEO açısından önemliyse, büyük bir trafik kaybı oluşabilir.
Günlük hayattan bir örnekle düşünürsek: Robots.txt, bir alışveriş merkezinin kapısındaki “şu bölümler kapalıdır” tabelası gibidir. Müşteri (Google botu) içeri giremezse, içeride ne olduğunu da bilemez.

---

Robots.txt Engeli SEO’yu Nasıl Etkiler?​

Robots.txt engeli doğrudan sıralamayı değil, tarama ve indekslenmeyi etkiler. Ancak dolaylı olarak SEO performansını ciddi şekilde düşürür.
Bir sayfa engellendiğinde:

• Google sayfayı tarayamaz
• İçeriği analiz edemez
• Anahtar kelimeleri anlayamaz
• Güncellemeleri fark edemez

Buna rağmen bazı durumlarda sayfa yine de indexte görünebilir. Bunun sebebi başka sitelerden gelen linklerdir. Ancak bu durumda Google sayfa içeriğini bilmediği için genellikle “başlık bile göstermeyen” zayıf sonuçlar oluşur.
Mini senaryo:
Sen webmasterforum.net’te bir kategori açtın ve içine 100 konu ekledin. Ama robots.txt’te yanlışlıkla /konular/ klasörünü engelledin. Sonuç? Google hiçbir konuyu taramaz. İçerik var ama görünmez hale gelir.

---

Robots.txt Engeli ile Noindex Karıştırılmamalı​

En çok yapılan hatalardan biri robots.txt ile “noindex” etiketini karıştırmaktır. İkisi tamamen farklı çalışır.
Önemli nokta:
Eğer bir sayfaya “noindex” vermek istiyorsan, robots.txt ile engellememelisin. Çünkü Google sayfayı tarayamazsa “noindex” etiketini de göremez.

---

Hangi Sayfalar Robots.txt ile Engellenmeli?​

Her sayfayı açık bırakmak doğru değildir. Robots.txt doğru kullanıldığında SEO’yu güçlendirir. Özellikle gereksiz veya sistem sayfaları engellenmelidir.
Genelde engellenmesi gereken sayfalar:

• Admin panel ( /admin.php )
• Kullanıcı paneli ( /account/ )
• Arama sayfaları ( /search/ )
• Mesajlar ( /conversations/ )
• Geçici filtre URL’leri
• JSON ve API endpoint’leri

Örnek doğru kullanım:
User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /search/
Bu sayede Google sadece değerli içeriklere odaklanır ve crawl budget daha verimli kullanılır.

---

Robots.txt Hatası Nasıl Tespit Edilir?​

Bu hatayı anlamanın en kolay yolu Google Search Console kullanmaktır. “Sayfa dizine eklenmedi → robots.txt tarafından engellendi” uyarısı açıkça görünür.
Kontrol etmen gereken temel noktalar:

• robots.txt dosyasını aç
• Disallow kurallarını incele
• Engellenen URL ile eşleşiyor mu bak
• GSC’de URL denetleme yap

Basit bir test yöntemi:
Tarayıcıya şu adresi yaz:
siteadi.com/robots.txt
Ve hangi klasörlerin engellendiğini kontrol et.

---

Robots.txt Engeli Nasıl Kaldırılır?​

Eğer önemli bir sayfa yanlışlıkla engellendiyse çözüm oldukça basittir. Yapman gereken sadece ilgili kuralı kaldırmak veya düzenlemektir.
Yanlış kural:
Disallow: /
Bu tüm siteyi kapatır
Doğru yaklaşım:
User-agent: *
Disallow:
Ya da sadece gereksiz alanları engelle.
Düzeltme sonrası yapılması gerekenler:

1. Robots.txt dosyasını güncelle
2. Sunucuya yükle
3. Search Console’da “URL’yi yeniden tarat”
4. Birkaç gün içinde index durumunu kontrol et

Uzman önerisi:
Robots.txt dosyasını sık sık değiştirmek yerine, net bir yapı kurup uzun süre stabil kullanmak daha sağlıklıdır.

---

Robots.txt Kullanımında Yapılan Hatalar​

Birçok site sahibi farkında olmadan ciddi SEO hataları yapar. En yaygın olanlar şunlardır:

• Tüm siteyi yanlışlıkla engellemek
• CSS ve JS dosyalarını kapatmak
• Önemli kategori sayfalarını engellemek
• Noindex yerine robots.txt kullanmak
• Test ortamındaki dosyayı canlıya taşımak

Gerçek bir senaryo:
Bir site staging ortamında “Disallow: /” kullanır. Daha sonra aynı robots.txt canlıya aktarılır. Sonuç: Site birkaç gün içinde Google’dan tamamen kaybolur.

---

Robots.txt Kullanımı Ne Zaman Avantaj Sağlar?​

Doğru kullanıldığında robots.txt ciddi avantaj sağlar. Özellikle büyük sitelerde tarama bütçesi yönetimi için kritik rol oynar.
Avantajları:

• Gereksiz sayfaları gizler
• Crawl budget’ı optimize eder
• Bot yükünü azaltır
• SEO odağını güçlendirir

Örneğin senin forum sitende (webmasterforum.net gibi) JSON endpoint’leri ve widget URL’lerini engellemek oldukça mantıklı bir optimizasyondur.

---

Kapanış​

Robots.txt engeli, küçük bir teknik detay gibi görünse de aslında sitenin görünürlüğünü doğrudan etkileyen kritik bir faktördür. Eğer bir sayfa yanlışlıkla engellenirse, Google o içeriği yok sayar ve tüm SEO emeği boşa gidebilir. Bu yüzden robots.txt dosyasını sadece “engel koymak” için değil, stratejik bir araç olarak kullanmak gerekir.
Doğru yaklaşım, değerli içerikleri açık bırakıp gereksiz sayfaları filtrelemektir. Düzenli kontrol, Search Console takibi ve bilinçli yapılandırma ile bu hata tamamen önlenebilir. Eğer bir sayfa index almıyorsa, ilk bakılması gereken yerlerden biri her zaman robots.txt olmalıdır.

---

Sık Sorulan Sorular​

Robots.txt engellenmiş sayfa index alır mı?
Genelde hayır. Ancak başka sitelerden link alıyorsa sınırlı şekilde indexe girebilir.
Robots.txt kaldırınca hemen index olur mu?
Hayır. Google’ın yeniden taraması gerekir. Bu birkaç gün sürebilir.
Noindex mi robots.txt mi kullanmalıyım?
İndex kontrolü için noindex, tarama kontrolü için robots.txt kullanılmalıdır.
Robots.txt SEO’ya zarar verir mi?
Yanlış kullanılırsa ciddi zarar verir, doğru kullanılırsa fayda sağlar.
Tüm siteyi Disallow yapmak ne olur?
Google siteni tamamen taramaz ve zamanla indexten çıkarır.