Robots.txt Dosyası Nedir? Nasıl Kullanılır?

Robots.txt dosyası, bir web sitesinin arama motoru robotlarıyla yaptığı ilk konuşmadır. Siteyi ziyaret eden tarayıcılar daha tek satır kod okumadan bu dosyaya bakar. Basit bir metin dosyasıdır ama etkisi düşündüğünden büyüktür. “Robots.txt nedir?” sorusunun net cevabı şu: Arama motorlarına hangi bölümlerin taranıp hangilerinin taranmaması gerektiğini söyleyen talimat dosyası.​

Çoğu webmaster bu dosyayı ya çok önemser ya da tamamen unutur. Oysa gerçek denge ikisinin ortasındadır. Doğru kurgulanmış bir robots, sitenin indeks bütçesini korur ve gereksiz sayfalara enerji harcanmasını önler.

Temel Kavram ve Tanım: Robots.txt Neye Denir?​

Robots.txt, kökü “Robot Exclusion Protocol” adı verilen standarttan gelen düz metin dosyasıdır. Her zaman sitenin ana dizininde bulunur. Dosyanın adresi sabittir: siteadi.com/robots.txt. Başka klasörde çalışmaz. Bu kural değişmez.
Ne anlama gelir?

• tarama kontrolü
• dizin yönlendirmesi
• bot iletişimi
• indeks bütçesi yönetimi

Kökeni 1994 yılına dayanır. İnternet daha emekleme çağındayken robotların siteleri bilinçsizce tüketmesi sorun yaratıyordu. Bu protokol bir uzlaşma metni gibi doğdu. Bugün hâlâ aynı ruhla kullanılıyor.

Kullanım Alanları: Robots Nerelerde İşe Yarar?​

Robots.txt dosyasını en çok şu tür sitelerde görüyorum:

• büyük forumlar
• e-ticaret portalları
• kurumsal bloglar
• çok dilli platformlar

Kimler tarafından tercih edilir?
Özellikle senin gibi PHP script geliştiricileri ve WordPress kullanıcıları bu dosyaya daha sık ihtiyaç duyar. XenForo 2.2 kullanan forumunda binlerce dinamik URL oluştuğu için robots, gerçek bir trafik polisi görevini üstlenir.
Gerçek hayattan örnek: Bir AVM’de güvenlik görevlisine “Personel alanına kimseyi alma” dersin. Robots da aynısını Googlebot’a söyler.

Robots.txt Türleri ve Komut Yapısı​

Dosya içinde birkaç ana komut bulunur:
1 User-agent → talimatın hangi bota ait olduğu
2 Disallow → girme denilen dizin
3 Allow → özel izin
4 Crawl-delay → bekleme süresi
5 Sitemap → site haritası bildirimi
Bu komutlar satır satır yorumlanır. Büyük harf küçük harf duyarlılığı genellikle yoktur ama düzenli yazmak profesyonel alışkanlıktır.

Avantajlar: Doğru Robots Kullanmanın Artıları​

• gereksiz sayfalar gizlenir
• güvenlik alanları korunur
• tekrar eden etiket arşivleri kapanır
• yönetici panelleri indeks almaz
• sunucu yükü azalır

Kısa ve maddeli anlatım, faydayı daha iyi gösteriyor. Özellikle emlak sitende filtreli arama sonuçlarını kapatmak, gerçek ilan sayfalarının öne çıkmasını sağlar.

Dezavantajlar: Hatalı Kurgunun Bedeli​

• yanlış disallow tüm siteyi kapatır
• trafik bir anda düşer
• Google sayfaları göremez
• index silinmesi yaşanır

Bir gece ansızın ziyaretçilerin kesilir. Sebebi tek satırdır. Bu yüzden robots düzenlerken sakin olmak gerekir.

En Sık Robots.txt Örnekleri​

WordPress’te tipik yapı:

• /wp-admin/ kapalı
• /wp-includes/ kapalı
• sitemap açık

XenForo forumunda ise:

• /admin.php kapalı
• login sayfaları kapalı
• konu URL’leri açık

Senin bakım paketlerinde kullandığın SQL temizlik mantığıyla benzer bir disiplin.

Karşılaştırmalı Bölüm: Noindex mi Robots mu?​

Robots.txt ile “noindex” etiketi sık karıştırılır. Aralarındaki farkı tek paragrafta özetleyeyim: Robots taramayı engeller, noindex indekslemeyi. Taranmayan sayfaya noindex koysan bile Google o etiketi okuyamaz.
Karşılaştırma listesi:

• robots → dizine girme
• noindex → listeye yazma
• yönlendirme → adresi değiştir

Forum sitelerinde ikisini birlikte kullanmak çoğu zaman daha güvenlidir.

Dikkat Edilmesi Gereken İnce Noktalar​

Şu senaryolar seni uyarmalı:

• geçici kampanya dizinleri
• aynı içerikli demo alanları
• parametreli arama sonuçları
• üye özel mesaj klasörleri

Bu alanları kapatmak mantıklı. Ama asıl içerikleri asla kapatma.

Robots.txt Nasıl Oluşturulur?​

Oluşturma adımları kısa:
1 not defterini aç
2 dosya adını robots.txt yap
3 ana dizine yükle
4 izinleri 644 ayarla
Hosting panelin buna izin verir. Sen zaten domain işlerine meraklı olduğun için bu adımlar sana tanıdık.

Komut Yazım Mantığı​

Örnek bir yapı:

• önce user agent
• sonra allow
• en son sitemap

Mantıksal sıra önem taşır. Google satırları yukarıdan aşağı okur.

Emlak ve Ajans Sitelerine Özel Kullanım​

Mehmet, sektörün gereği sana özel birkaç kullanım önerisi:

• harita iframe dizinini açık bırak
• pdf sözleşme klasörünü kapalı tut
• filtre sonuçlarını kapalı tut
• ilan görsellerini allow yap

Bu yapı yerel SEO’da sana güç verir.

Açıklayıcı Tablo​

Yanlış Kullanım Senaryoları​

Özellikle şunları yapma:

• kopya içerik dizinini allow etme
• admin dizinini açık bırakma
• https yerine http yazma

Bu hatalar domino etkisi yaratır.

Güvenlik Açısından Robots​

Robots.txt gizli dosyaları şifrelemez. Sadece iyi niyet protokolüdür. Kötü amaçlı botlar uymayabilir. Bu yüzden ek güvenlik katmanı gerekir.
Kısa bir uyarı cümlesi yeterli: Robots kilit değil tabeladır.

İndeks Bütçesi Kavramı​

Google her siteye belli tarama hakkı tanır. Forumunda on binlerce konu olduğunda robots, bu hakkı gerçek sayfalara yönlendirir. Aynı e-ticarette vitrin mantığı.

Search Console ile Test​

Site ekleme sonrası panelden robots test aracını kullan. Geçerli mi değil mi görürsün. Senin önceki 4XX ekranındaki gibi; burada da hatalar görünür.

Benzer Terimler Arasındaki Farklar​

• bot yönetimi
• tarama protokolü
• dizin kısıtı

Bu kavramlar çoğu zaman aynı şey sanılır. Ama her birinin yeri farklıdır.

Robots.txt Kullanmanın Stratejik Yolları​

1 gereksizleri kapat
2 asıl içerikleri aç
3 sitemap gönder
4 paneli izle

Performans Etkisi​

Doğru robots sunucu yükünü düşürür. Özellikle üçlü fanlı ekran kartı metaforunda olduğu gibi; burada da ısı yerine veri akışı soğur.

Güncelleme Disiplini​

Dosyayı ayda bir gözden geçirmen iyi olur. Yeni eklenti kurduğunda yol değişebilir.

Kullanılmaması Gereken Durumlar​

Geçici bakım modundaki siteleri Google’a ekli robots ile kapatmak bazen yanlış sinyal üretir. Bu tür senaryoları yalnızca kısa süreli düşün.

Sonuç: Robots.txt Akıllı Kullanıldığında Güçtür​

Robots.txt dosyası, sitenin arama motorlarıyla yaptığı görünmez sözleşmedir. Doğru yazıldığında blogun ve forumun gibi çok katmanlı projelerde seni korur. Yanlış yazıldığında ise en iyi içeriği bile karanlığa iter. Dosyayı ana dizinde tut. Komut mantığını anla. Sitemap ile birlikte kullan. Gerisini Google’a değil, kendi stratejine bırak.

---

Sık Sorulan Sorular​

1. Robots.txt dosyası tam olarak nedir?
Robots.txt, arama motoru robotlarına tarama izinlerini bildiren düz metin dosyasıdır.
2. Robots siteyi tamamen kapatır mı?
Teknik olarak kapatabilir. Yanlış Disallow kullanımı tüm dizinleri engelleyebilir.
3. Noindex ile robots aynı şey mi?
Aynı değildir. Robots taramayı, noindex indekslemeyi hedefler.
4. Sitemap satırı zorunlu mu?
Zorunlu değil fakat indeks hızını artırdığı için önerilir.
5. XenForo forumunda robots gerekli mi?
Dinamik URL çokluğu nedeniyle büyük forumlarda oldukça faydalıdır.
6. Robots güvenlik kilidi midir?
Kilit değildir. İyi niyet protokolüdür ve ek güvenlik önlemi gerekir.
7. Doğrulama olmadan çalışır mı?
Çalışır fakat Search Console ile test etmek en sağlıklı yoldur.