İpucu Robots.txt Dosyası Nedir? Nasıl Kullanılır?

Bir web sitesinin arama motorlarıyla nasıl iletişim kuracağını belirleyen en temel dosyalardan biri robots.txt dosyasıdır. Bu küçük ama kritik dosya, Google gibi arama motorlarına sitenin hangi bölümlerini tarayıp hangi sayfalarını görmezden gelmeleri gerektiğini söyler.
Eğer SEO’da ilerlemek istiyorsan, robots.txt dosyasını doğru anlamak ve doğru kullanmak büyük önem taşır.

---

1. Robots.txt Dosyası Nedir?​

Robots.txt, web sitenin kök dizininde yer alan ve arama motoru botlarına (örneğin Googlebot, Bingbot) rehberlik eden bir metin dosyasıdır.
Bu dosya, “hangi sayfalar taranabilir, hangileri gizli kalmalı” sorularına cevap verir.
Basit bir örnekle anlatmak gerekirse; robots.txt, sitene gelen arama motoru robotlarına “şu klasöre gir, ama şu sayfaları tarama” diyen bir trafik işaret levhası gibidir.

---

2. Robots.txt Dosyasının Temel Amacı​

Robots.txt dosyasının SEO’daki başlıca amaçları şunlardır:

• Arama motoru botlarının site içindeki trafiğini düzenlemek
• Gereksiz veya gizli sayfaların dizine eklenmesini önlemek
• Tarama bütçesini verimli kullanmak
• Site performansını artırmak
• Gizli veya yönetici sayfalarının indekslenmesini engellemek

Bu sayede hem Google botları zaman kazanır hem de siten gereksiz sayfalarla dolmaz.

---

3. Robots.txt Dosyası Nerede Bulunur?​

Robots.txt dosyası, sitenin ana dizininde (root directory) bulunur.
Yani adres çubuğunda şu şekilde görünmelidir:
Bu adres herkes tarafından görüntülenebilir.
Dosya, genellikle bir metin editörü (örneğin Notepad) ile oluşturulur ve FTP üzerinden ana dizine yüklenir.

---

4. Robots.txt Dosyasının Temel Yapısı​

Bir robots.txt dosyası 2 ana komut içerir:
Basit bir örnek:
Bu örnekte tüm botlara /admin/ dizinini taramaması söylenmiş, geri kalan tüm sayfaların taranmasına izin verilmiştir.

---

5. Robots.txt Dosyası Nasıl Oluşturulur?​

Adım adım robots.txt oluşturmak için şunları yapabilirsin:

1. Bilgisayarında Not Defteri (Notepad) aç.
2. Aşağıdaki örnek satırları yaz:
   
   Kod:

   İçeriği sadece üyelerimiz görebilir.

3. Dosyayı robots.txt adıyla kaydet.
4. FTP veya hosting dosya yöneticisini kullanarak sitenin ana dizinine yükle.
5. Google Search Console üzerinden “robots.txt test aracı” ile doğrula.

---

6. Robots.txt Dosyasında En Sık Kullanılan Komutlar​

Robots.txt, sadece “engelle” veya “izin ver” demekten ibaret değildir.
İşte sık kullanılan bazı örnekler:

Tüm Botları Engellemek​

(Sitenin hiçbir sayfası Google’da görünmez. Bu yöntemi asla aktif sitede kullanma!)

Belirli Bir Botu Engellemek​

(Sadece Google botunun “/private” klasörüne girmesini engeller.)

Belirli Bir Klasörü Engellemek​

Belirli Bir Sayfayı Engellemek​

Sadece Sitemap Belirtmek​

---

7. Robots.txt SEO’yu Nasıl Etkiler?​

Robots.txt dosyasının doğru yapılandırılması SEO için kritik bir adımdır.
Yanlış bir “Disallow” komutu, Google’ın siteyi tamamen taramamasına neden olabilir.
Bu durumda sayfaların dizine eklenmez ve sıralamalarda görünmezsin.

SEO’ya Olumlu Etkileri:​

• Gereksiz sayfaların dizine girmesini engeller.
• Google’ın tarama bütçesini verimli kullanmasını sağlar.
• Gizli sayfaların arama sonuçlarında görünmesini önler.
• Sitemap linki eklenirse, Google siteni daha düzenli tarar.

SEO’ya Olumsuz Etkileri:​

• Yanlış “Disallow” tüm siteyi engeller.
• Robots.txt dosyası kaldırılırsa, gizli sayfalar görünür hale gelir.
• Hatalı dizin yolları tarama hatalarına neden olabilir.

---

8. Robots.txt ile Noindex Arasındaki Fark​

Birçok kişi robots.txt ile “noindex” etiketini karıştırır.
Kısaca; robots.txt taramayı durdurur, noindex dizine eklemeyi engeller.

---

9. Robots.txt Test Etme ve Doğrulama​

Google Search Console’da yer alan “robots.txt test aracı”, hatalı komutları tespit etmeni sağlar.
Bu araçla:

• Engellenen URL’leri görebilirsin,
• Hatalı sözdizimini düzeltebilirsin,
• Googlebot’un siteye erişimini test edebilirsin.

Doğru bir robots.txt dosyası, SEO açısından hem güvenli hem performanslı bir yapı sunar.

---

10. En İyi Robots.txt Örneği (SEO Uyumlu)​

Aşağıdaki yapı, genel kullanım için en dengeli robots.txt örneğidir:
Bu yapı, yönetici klasörlerini gizlerken tüm diğer sayfaların taranmasına izin verir.
Ayrıca sitemap bağlantısı eklenerek Google’ın tüm sayfaları hızlıca bulması sağlanır.

---

Sık Sorulan Sorular (S.S.S)​

1. Robots.txt dosyası zorunlu mu?
Hayır, ancak SEO açısından şiddetle tavsiye edilir. Arama motorlarına sitenin yapısını anlatır.
2. Robots.txt dosyasını yanlış ayarlarsam ne olur?
Google siteni tamamen taramayabilir. Bu da sıralamalarda kaybolmana neden olabilir.
3. Sadece belirli sayfaları gizleyebilir miyim?
Evet, “Disallow: /sayfa-adi.html” komutu ile belirli sayfaları hariç tutabilirsin.
4. Sitemap’i robots.txt’ye eklemek şart mı?
Zorunlu değil ama Google’ın site haritanı daha kolay bulmasını sağlar.
5. Robots.txt dosyamı nasıl test ederim?
Search Console’daki “robots.txt test aracı” veya “/robots.txt” URL’siyle manuel kontrol yapabilirsin.

---

Sonuç​

Robots.txt, küçük boyutuna rağmen sitenin SEO sağlığını doğrudan etkileyen önemli bir dosyadır.
Doğru yapılandırıldığında Google botlarının işini kolaylaştırır, yanlış yazıldığında ise siteni görünmez hale getirebilir.
Eğer forum veya blog sitene düzenli olarak içerik ekliyorsan, bu dosyayı doğru yönetmek seni arama sonuçlarında rakiplerinden öne çıkaracaktır.