- Konu sahibi
- #1
Wix robots.txt dosyası nedir?
Wix’te robots.txt dosyasını FTP ile ayrıca yüklemeniz gerekmez. Wix, siteniz için bu dosyayı sunar; ihtiyacınız varsa Wix’in robots.txt düzenleme özelliği üzerinden kurallar ekleyebilir veya değiştirebilirsiniz. Temel amaç, arama motoru botlarına hangi dizin ve URL’leri taramaması gerektiğini bildirmektir. Bu dosya bir gizlilik veya erişim kontrolü değildir; engellenen içerik yine başka yollarla keşfedilebilir.
Robots.txt nasıl çalışır?
Bot, sitenizi taramaya başlamadan önce alan adının kökündeki robots.txt dosyasını kontrol eder. Dosyadaki
User-agent hangi botun kurala tabi olduğunu, Disallow hangi yolun taranmamasını istediğinizi, Allow ise istisnaları belirtir.Örneğin aşağıdaki küçük dosya, tüm botlara yalnızca
/private-area/ yolunu taramamalarını söyler:
Kod:
User-agent: *
Disallow: /private-area/
Allow: /Bu örnekte
* tüm botları ifade eder. Kural, /private-area/ ile başlayan yolları kapsar; ana sayfa ve diğer yollar taramaya açık kalır. Gerçek sitenizde bu yolu yalnızca gerçekten taranmaması gereken bir alanla değiştirin.Wix’te robots.txt dosyasını düzenleme
Wix site panelinde SEO & GEO > Tools and settings > Robots.txt Editor > View File yolunu açın. Panel adları değişebileceği için, ilgili düzenleyicide gösterilen mevcut kuralları önce kopyalayarak saklayın.
- Wix yönetim panelinde sitenizin SEO ayarları içindeki robots.txt düzenleyicisini açın.
- Mevcut içeriği inceleyin; otomatik oluşturulan kuralları anlamadan silmeyin.
- Sadece gerekli yolu hedefleyen en dar
Disallowkuralını ekleyin. - Save Changes, ardından Save ile değişikliği kaydedin ve dosyanın alan adının kökündeki robots.txt yolunda beklediğiniz metni döndürdüğünü kontrol edin.
- Google Search Console gibi tarama araçlarında önemli sayfaların robots.txt nedeniyle engellenmediğini test edin.
Dosyanın metin olarak açılması ve kuralın görünmesi yalnız erişim/içerik kontrolüdür. Gerçek başarı için hedef URL ve açık kalması gereken bir karşı örneği doğru bot grubuyla ayrıca test edin; özel User-agent grupları genel gruptan farklı sonuç verebilir. Dosya açılmıyor, eski içerik görünmeye devam ediyor veya Wix düzenleyiciyi göstermiyorsa önce değişikliğin kaydedildiğini, doğru siteyi düzenlediğinizi ve alan adının gerçekten o Wix sitesine bağlı olduğunu kontrol edin. Dosyada olmayan bir URL’nin engellendiğini düşünüyorsanız, sayfanın farklı bir kural veya başka bir teknik ayar tarafından etkilenip etkilenmediğini ayrıca inceleyin.
Hangi kuralları eklemeli veya eklememelisiniz?
Robots.txt değişikliği, yalnızca tarama gereksinimi açık olduğunda yapılmalıdır. Tarama yükünü azaltmak istediğiniz gerçek yolları değerlendirebilirsiniz. Hedef arama sonuçlarından çıkarmaksa Wix sayfa indeksleme ayarını kullanın; robots.txt ile engellemek botun noindex görmesini de önleyebilir. Ancak Wix’in sistem yollarını, sayfanın görünmesi için gereken stil ve betik kaynaklarını veya tüm siteyi rastgele engellemeyin.
| Amaç | Uygun yaklaşım | Önemli sonuç |
|---|---|---|
| Özel bir alanın taranmasını azaltmak | Yalnızca o yolu Disallow ile hedeflemek | Alan arama motoru tarafından taranmayabilir |
| Bir sayfayı arama sonuçlarından kaldırmak | Sayfada uygun noindex yaklaşımını değerlendirmek | Robots.txt tek başına kesin kaldırma yöntemi değildir |
| Tüm siteyi geçici olarak kapatmak | Çok dikkatli ve geçici bir engelleme planı kullanmak | Yanlış kural organik görünürlüğü etkileyebilir |
| Site haritasını bildirmek | Wix’in oluşturduğu site haritası ayarını ve mevcut robots içeriğini korumak | Elle yanlış bir site haritası yolu eklemeyin |
Sık yapılan hatalar
Tüm siteyi engellemek:
Disallow: / kuralı, hedeflenen bot için sitenin tamamını taramaya kapatır. Bu kuralı kopyalayıp canlı sitede bırakmak önemli sayfaların keşfedilmesini engelleyebilir.Noindex yerine robots.txt kullanmak: Robots.txt botun taramasını sınırlamaya yöneliktir; sayfanın dizinde kesinlikle görünmemesi gerektiğinde sayfanın kendi indeksleme ayarı ayrıca ele alınmalıdır.
Klasör adını yanlış yazmak: Başta veya sonda kullanılan eğik çizgi, sorgu parametreleri ve büyük-küçük harf farkları beklenenden farklı eşleşmelere yol açabilir. Önce tek bir örnek URL üzerinde kuralın kapsamını test edin.
Değişikliği kontrol etmemek: Wix panelindeki kayıt işlemi ile botların okuyabildiği yayımlanmış dosya aynı şey değildir. Kaydettikten sonra canlı dosyanın metnini ve önemli sayfaların tarama durumunu yeniden kontrol edin.
Sık sorulan sorular
Wix’te robots.txt dosyasını FTP ile yükleyebilir miyim?
Hayır. Wix barındırmasında kök dizine geleneksel FTP ile dosya koymak yerine, varsa Wix’in kendi robots.txt düzenleme aracını kullanmanız gerekir.
robots.txt ile sayfayı tamamen gizleyebilir miyim?
Hayır. Robots.txt bir tarama yönergesidir ve erişim engeli değildir. Hassas içerik için yalnızca bu dosyaya güvenmeyin; içeriği uygun erişim denetimiyle koruyun.
Kural ekledikten sonra ne yapmalıyım?
Yayımlanmış robots.txt içeriğini kontrol edin, önemli sayfaların engellenmediğini test edin ve değişikliğin arama motoru tarafından yeniden okunmasını bekleyerek tarama raporlarını izleyin.
