- Konu sahibi
- #1
WordPress robots.txt dosyası, arama motoru botlarına sitenizin hangi bölümlerini taramamaları gerektiğini bildiren bir metindir. Bu dosya erişimi engelleyen bir güvenlik duvarı değildir; kurala uyan botlar için tarama yönergesi görevi görür. WordPress, fiziksel bir dosya bulunmadığında ve kalıcı bağlantılar çalıştığında robots.txt çıktısını dinamik olarak oluşturabilir. İlk kontrol etmeniz gereken adres
Dosya genellikle alan adının kök dizininde bulunur. Her kural bir bot grubuna uygulanır. En yaygın yapı şöyledir:
Bu örnekte yönetim klasörünün taranması sınırlandırılırken, bazı temaların ve eklentilerin kullandığı AJAX uç noktası açık bırakılır. Ancak bu satırları her siteye düşünmeden eklemek doğru değildir. Bir URL'nin robots.txt ile taranmasını engellemek, o URL'nin ziyaret edilmesini, sunucudan dosya alınmasını veya daha önce bilinen bir adresin arama sonuçlarında görünmesini kesin olarak önlemez.
Önce sitenizde zaten fiziksel bir dosya mı, yoksa WordPress tarafından üretilen dinamik çıktı mı olduğunu belirleyin. Aynı anda hem dosya hem de dinamik çıktı beklemek yerine, tarayıcıda görünen gerçek sonucu esas alın.
Tüm siteyi yanlışlıkla kapatan
robots.txt içine parola, gizli dosya yolu veya özel yönetim adresi yazmak da doğru değildir; dosya herkese açıktır. Hassas alanları erişim denetimi, parola koruması veya sunucu kurallarıyla koruyun. Bir sayfanın arama sonuçlarından çıkarılması hedefleniyorsa, robots.txt ile taramayı kesmeden önce sayfa düzeyindeki noindex çözümünü değerlendirin.
Arama motorunun sayfadaki
Kurallar, ilgili şema, host ve portun kökündeki
Web kökündeki fiziksel dosya WordPress’in dinamik çıktısının önüne geçebilir. Önce dosya yöneticisinde fiziksel dosyayı ve sunucu/CDN önbelleğini kontrol edin; ardından eklenti ayarının gerçekten görünen yanıtı değiştirip değiştirmediğini yeniden sınayın. Dosyayı incelemeden silmek yerine mevcut kuralları ve geri dönüş kopyasını koruyun.
https://example.com/robots.txt olmalıdır.robots.txt nasıl çalışır?
Dosya genellikle alan adının kök dizininde bulunur. Her kural bir bot grubuna uygulanır. En yaygın yapı şöyledir:
Kod:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xmlUser-agent: * tüm botları, Disallow taranmaması istenen yolu, Allow ise istisna verilen yolu belirtir. Sitemap satırı, XML site haritasının adresini bildirir; site haritasını robots.txt içine yerleştirmez. Buradaki alan adı kurgusaldır. WordPress çekirdeğinin site haritası etkinse /wp-sitemap.xml kullanılabilir; SEO eklentisi farklı bir adres sunuyorsa gerçekten açılan o adresi yazın.Bu örnekte yönetim klasörünün taranması sınırlandırılırken, bazı temaların ve eklentilerin kullandığı AJAX uç noktası açık bırakılır. Ancak bu satırları her siteye düşünmeden eklemek doğru değildir. Bir URL'nin robots.txt ile taranmasını engellemek, o URL'nin ziyaret edilmesini, sunucudan dosya alınmasını veya daha önce bilinen bir adresin arama sonuçlarında görünmesini kesin olarak önlemez.
WordPress sitesinde hangi yöntemi seçmelisiniz?
Önce sitenizde zaten fiziksel bir dosya mı, yoksa WordPress tarafından üretilen dinamik çıktı mı olduğunu belirleyin. Aynı anda hem dosya hem de dinamik çıktı beklemek yerine, tarayıcıda görünen gerçek sonucu esas alın.
| Durum | Uygun yaklaşım | Dikkat edilmesi gereken |
|---|---|---|
| Özel bir engelleme gerekmiyor | WordPress'in ürettiği çıktıyı kullanın | Gereksiz Disallow satırları eklemeyin |
| Belirli bir klasör taranmasın | Kısa ve hedefli Disallow kullanın | İçerik, stil ve JavaScript dosyalarını yanlışlıkla kapatmayın |
| Test sitesi ziyaretçiye kapalı kalmalı | Sunucu veya uygulamada erişim doğrulaması kullanın | Arama motoru görünürlüğü ayarı parola koruması değildir |
| URL arama sonuçlarına girmesin | Sayfa düzeyinde noindex yaklaşımını değerlendirin | Yalnızca robots.txt ile noindex etkisi oluşturmaya çalışmayın |
robots.txt dosyasını kontrol etme ve değiştirme
https://example.com/robots.txtadresini açın ve sunulan metni kaydedin. 200 durumlu, okunabilir bir metin görüyorsanız ilk kontrol tamamlanmıştır.- WordPress yönetimindeki Ayarlar > Okuma bölümünde arama motoru görünürlüğü seçeneğinin yanlışlıkla etkin olmadığını kontrol edin. Bu seçenek, arama motorlarına siteyi dizine eklememeleri yönünde sinyal verir; siteyi ziyaretçilere kapatmaz.
- Fiziksel dosya varsa veya değiştirecekseniz önce web kökü dışında geri dönüş kopyası alın. Tarama kısıtlaması gerekiyorsa kuralı en dar kapsamla yazın. Örneğin yalnızca
/private-area/yolunu hedeflemek içinDisallow: /private-area/kullanın. - Fiziksel dosya kullanacaksanız dosyayı alan adının kök dizinine, yani
example.com/robots.txtadresini karşılayacak konuma yükleyin. Dosyada yalnızca düz metin yönergeleri bulundurun. - Değişiklikten sonra robots.txt adresini gizli pencere veya önbelleksiz bir istekle yeniden açın. Eski içerik görünüyorsa WordPress, eklenti, sunucu veya CDN önbelleğini temizleyip tekrar kontrol edin.
Sık yapılan hatalar
Tüm siteyi yanlışlıkla kapatan
Disallow: / satırı en riskli hatalardan biridir. Bu satır yalnızca sitenin tamamının taranmasını gerçekten istemediğiniz özel durumlarda kullanılmalıdır. /wp-content/ yolunu bütünüyle engellemek de temaların, görsellerin veya eklentilerin gerekli kaynaklarının taranmasını bozabilir.robots.txt içine parola, gizli dosya yolu veya özel yönetim adresi yazmak da doğru değildir; dosya herkese açıktır. Hassas alanları erişim denetimi, parola koruması veya sunucu kurallarıyla koruyun. Bir sayfanın arama sonuçlarından çıkarılması hedefleniyorsa, robots.txt ile taramayı kesmeden önce sayfa düzeyindeki noindex çözümünü değerlendirin.
Sık sorulan sorular
Noindex eklediğim URL’yi robots.txt ile de kapatmalı mıyım?
Arama motorunun sayfadaki
noindex yönergesini görebilmesi için sayfayı tarayabilmesi gerekir. Önce Disallow ile erişimi kesmek bu yönergenin okunmasını engelleyebilir. Hassas içerik için ise dizinden çıkarma sinyaline güvenmek yerine gerçek erişim denetimi kullanın.WordPress alt klasördeyse robots.txt nereye konur?
Kurallar, ilgili şema, host ve portun kökündeki
/robots.txt adresinden okunur. WordPress /blog/ altında olsa bile yalnız /blog/robots.txt dosyasını yüklemek bütün host için kural oluşturmaz. Web kökü ve sunulan çıktı birlikte kontrol edilmelidir.Eklentide yaptığım değişiklik neden robots.txt çıktısına yansımıyor?
Web kökündeki fiziksel dosya WordPress’in dinamik çıktısının önüne geçebilir. Önce dosya yöneticisinde fiziksel dosyayı ve sunucu/CDN önbelleğini kontrol edin; ardından eklenti ayarının gerçekten görünen yanıtı değiştirip değiştirmediğini yeniden sınayın. Dosyayı incelemeden silmek yerine mevcut kuralları ve geri dönüş kopyasını koruyun.
