- Konu sahibi
- #1
OpenCart robots.txt dosyası
OpenCart mağazasında robots.txt, uyumlu arama motoru botlarının hangi URL'leri tarayabileceğini belirleyen düz metin dosyasıdır. Ürünleri, kategorileri ve sayfayı oluşturan kaynakları erişilebilir tutarken gereksiz URL çeşitlerinin taranmasını sınırlandırmak için kullanılır. Dosya bir güvenlik duvarı veya dizinden kaldırma komutu değildir.
Kurala başlamadan önce kendi mağazanızdan bir ürün, kategori, sıralama ve arama URL'si alın. SEO URL eklentileri ve kurulumun alt klasörde olması adres yapısını değiştirebilir. Başka mağazadan alınan dosyanın sizin URL'lerinizi doğru kapsadığı varsayılamaz.
Dosya nereye konur?
robots.txt alan adının en üst dizininde, örneğin
https://example.com/robots.txt adresinde sunulmalıdır. Mağaza /magaza/ altında çalışsa bile /magaza/robots.txt alan adına ait tarama dosyasının yerini tutmaz. Kurallardaki yolları mağazanın gerçek ön ekiyle yazın; aynı alan adındaki başka uygulamaları yanlışlıkla kapsamamaya dikkat edin.Kurallar yalnızca dosyanın bulunduğu protokol, ana makine ve port için geçerlidir. www kullanılan adresle www olmayan adresin veya farklı alt alan adlarının aynı dosyayla kendiliğinden yönetildiğini düşünmeyin.
OpenCart parametreleri için örnek
OpenCart'ın resmî 3.0.x.x kaynak dalındaki dosyada sıralama ve arama gibi parametreler için kalıplar bulunur. Bu, her kurulumda aynı dosyanın eksiksiz kopyalanması gerektiği anlamına gelmez. Aşağıdaki dar örnek, alan adı kökünde çalışan kurgu mağazada yalnızca sıralama çeşitlerini sınırlar:
Kod:
User-agent: *
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=? kalıbı parametre sorgu dizgesinde ilk sıradaysa, & kalıbı başka parametrelerden sonra geliyorsa eşleşir. * joker karakterdir. Örneğin /index.php?route=product/category&path=20&sort=p.price adresi ikinci sort kalıbıyla eşleşir. Bu adres açıklayıcı bir örnektir; kendi mağazanızdaki gerçek URL ile test edin.Hangi URL için hangi karar?
| URL türü | İlk yaklaşım | Kontrol noktası |
|---|---|---|
| Ürün ve kategori | Taranabilir tut | Satışa açık asıl içerik yanlışlıkla engellenmemeli |
| Sıralama ve sayfa boyutu çeşitleri | Gereksiz çoğalmayı incele | Parametre kalıbı değerli sayfaları da yakalıyor mu? |
| Filtre veya sayfalama | Topluca engellemeden değerlendir | Ürün keşfi ve arama değeri olan ayrı içerik kayboluyor mu? |
| Görsel, CSS ve JavaScript | Gerekli kaynakları açık tut | Ürün görselleri ve sayfanın işlenmesi etkileniyor mu? |
| Yönetim ve özel dosyalar | Kimlik doğrulama ve sunucu erişimiyle koru | robots.txt gizlilik veya yetkilendirme sağlamaz |
/system/, /storage/ veya /vendor/ gibi adları görerek otomatik engel eklemeyin. Yol kurulumunuzda bulunmayabilir, web kökü dışında olabilir veya gerekli kaynaklar içerebilir. Yönetim klasörünüz yeniden adlandırılmışsa eski /admin/ kuralı yeni yolu kapsamaz; gerçek yolu robots.txt'ye yazmak da onu gizlemez.Değişikliği güvenli biçimde uygulama
- Mevcut dosyanın geri dönüş kopyasını alın ve değiştireceğiniz URL grubunu belirleyin.
- Gerçek ürün, kategori, görsel ve sıralama adreslerinden bir kontrol listesi hazırlayın. Alt klasör varsa kuralları onunla sınırlayın.
- Dosyayı düz metin olarak alan adının köküne yerleştirin. Mevcut başka bot gruplarını ve gerekli kuralları bilmeden silmeyin.
- Doğru ana makinedeki
/robots.txtadresinin metin döndürdüğünü kontrol edin. HTML hata sayfası veya giriş ekranı dönmesi doğru kurulum değildir. - URL eşleşmelerini kontrol edin; ürün ve gerekli kaynaklar açıksa değişikliği izleyin. Beklenmedik engelde eklediğiniz kuralları geri alın. Botun önbelleğindeki dosya nedeniyle etkinin anlık görünmeyebileceğini hesaba katın.
XML site haritası bildirimi isteğe bağlıdır. Yalnızca gerçekten çalışan site haritanızın tam adresini ekleyin; varlığını doğrulamadığınız bir eklenti adresini kullanmayın. robots.txt, yinelenen sayfalar için doğru kanonik adres seçiminin de yerine geçmez.
Sık sorulan sorular
Tarama engeli olan bir URL neden sonuçlarda görünüyor?
Google, başka sayfalardan öğrendiği bir URL'yi içeriğini taramadan da sonuçlarda gösterebilir. Dizine alınmayı önlemek için uygun noindex yönergesinin Google tarafından okunabilmesi gerekir; aynı URL'yi robots.txt ile kapatmak yönergenin görülmesini engelleyebilir.
Bütün botlar bu dosyaya uyar mı?
Hayır. Kuralları yok sayan istemciler olabilir. Yönetim paneli, yedekler ve müşteri verileri için erişim denetimini sunucuda ve uygulamada uygulayın.
İki eklenti farklı robots.txt içeriği önerirse ne yapılmalı?
Dosyaları art arda birleştirmek yerine hangi URL grubunu yönetmek istediğinizi belirleyin. Çakışan bot grupları ve kapsamı geniş kurallar oluşturmadığınızdan emin olup tek dosyayı gerçek URL kontrol listenizle sınayın.
