- Konu sahibi
- #1
Shopify robots.txt dosyası nedir?
Shopify mağazanızın
/robots.txt dosyası, arama motoru botlarına hangi yolları taramaması gerektiğini bildiren herkese açık bir metindir. Shopify bu dosyayı varsayılan kurallarla otomatik oluşturur. Çoğu mağazada dosyayı değiştirmek gerekmez; yalnızca gerçekten taranmaması gereken özel bir yol varsa Online Store temasındaki templates/robots.txt.liquid şablonu üzerinden kontrollü bir özelleştirme değerlendirilebilir.Bu dosya sayfaları güvenli biçimde gizlemez, silmez ve tek başına Google dizininden kaldırmaz. Örneğin arama sonuçlarında görünmemesi gereken bir sayfa için uygun
noindex yöntemi gerekir. Ancak botun sayfayı hiç taramaması sağlanırsa bot, sayfa içindeki noindex yönergesini de okuyamayabilir.Shopify robots.txt nasıl çalışır?
Bot, mağazanın robots.txt dosyasını okuyarak kuralları kendi tarama davranışına uygular. Kurallar genellikle
User-agent ile hangi botun hedeflendiğini, Disallow ile hangi yolun taranmaması gerektiğini belirtir. Dosyanın sonunda mağazanın XML site haritasını gösteren bir Sitemap satırı da bulunabilir.Shopify varsayılan dosyada çeşitli sistem ve gereksiz URL yollarını yönetir. Kendi mağazanızdaki güncel dosyayı okuyun; bütün sürüm, alan adı ve mağazalarda yolların birebir aynı olduğunu varsaymayın. Ürün ve koleksiyon gibi satışa katkı sağlayan ana yolları gelişigüzel engellemek, arama motorunun önemli sayfaları keşfetmesini ve güncellemesini zorlaştırabilir.
Örnek: Kurgu bir örnekte mağazada herkese açık, yalnızca deneme amacıyla kullanılan
/internal-preview/ yolu varsa, bu yol için ek bir engel anlamlı olabilir. Buna karşılık /products/ yolunu tamamen kapatmak, ürün sayfalarının taranmasını engelleyerek SEO sorununa dönüşebilir.Shopify robots.txt dosyasını özelleştirme
Önce değişikliğin gerçekten gerekli olduğunu belirleyin. Sonra aktif temanın kod düzenleyicisinde
robots.txt.liquid şablonunu oluşturup Shopify’ın varsayılan kurallarını koruyarak yalnızca özel kuralı ekleyin. Varsayılan kuralları tamamen silmek yerine aşağıdaki en küçük şablon örneği kullanılabilir:
Kod:
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.user_agent.value == '*' -%}
{{ 'Disallow: /internal-preview/' }}
{%- endif -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}Yukarıdaki örnekte
robots.default_groups Shopify’ın varsayılan gruplarını korur; yıldız grubunun içindeki ek satır yalnızca örnek özel yolu hedefler. Googlebot gibi daha özel bir grup varsa aynı botun hangi kuralları kullandığını ayrıca inceleyin; genel grubun her bota ek olarak uygulanacağını varsaymayın. /internal-preview/ mağazanızda gerçek ve taranmaması gereken bir yol değilse bu satırı kendi yolunuzla değiştirin veya eklemeyin.Hangi durumda robots.txt değişikliği yapılmalı?
Kararı yalnızca taranması gerekmeyen, kalıcı ve net bir yol için verin. URL parametreleri, filtreler veya Shopify’ın sistem yolları için önce varsayılan davranışı korumak daha güvenlidir.
| İhtiyaç | Uygun yaklaşım | Kaçınılması gereken |
|---|---|---|
| Herkese açık, gereksiz özel yolun taranmaması | Yalnızca ilgili yolu Disallow ile eklemek | Tüm mağazayı veya üst dizini kapatmak |
| Bir sayfanın arama sonuçlarından kaldırılması | Sayfaya uygun noindex ve kaldırma sürecini değerlendirmek | Sadece robots.txt ile kesin kaldırma beklemek |
| Ürün ve koleksiyonların taranması | Shopify varsayılan kurallarını korumak | /products/ veya /collections/ yolunu topluca engellemek |
Uygulama ve kontrol sırası şöyledir:
- Temanın geri dönüş kopyasını koruyun. Shopify yönetimindeki aktif temanın kod düzenleyicisini açın ve
robots.txt.liquidadlı şablonu oluşturun veya mevcutsa düzenleyin. Zaten özelleştirilmişse dosyanın tamamını örnekle değiştirmeyin; önce mevcut kuralları değerlendirin. - Varsayılan grupları koruyan şablonu ekleyin; yalnızca kesin olarak engellenmesi gereken yolu
Disallowsatırıyla yazın. - Temayı kaydedin ve değişikliğin ziyaretçilere sunulan aktif tema üzerinde yapıldığını kontrol edin.
- Tarayıcıda mağazanızın
/robots.txtyolunu açıp dosyanın düz metin olarak döndüğünü, beklenenDisallowsatırını ve mevcutsaSitemapsatırını kontrol edin. - Özel olarak engellenen yolu ve engellenmemesi gereken bir ürün ya da koleksiyon yolunu ayrı ayrı kontrol edin. Beklenmeyen bir engel varsa kuralı kaldırıp dosyayı yeniden inceleyin.
Başarılı sonuçta dosya metin olarak açılır ve özel kural, varsayılan kuralların yanında görünür. Dosya 404 döndürüyorsa şablon adı, tema durumu veya kaydetme işlemi kontrol edilmelidir. Kural görünmüyorsa yanlış temada değişiklik yapılmış olabilir ya da tema şablonu geçerli Liquid yapısına sahip olmayabilir.
robots.txt kimlik doğrulama veya erişim kontrolü değildir; dosyayı herkes okuyabilir ve her bot kurallara uymayabilir. Gizli veya hassas içerik için erişim yetkilendirmesi kullanılmalı, robots.txt yalnızca tarama yönergesi olarak görülmelidir.
Sık sorulan sorular
Robots.txt değişikliği neden arama sonuçlarında hemen fark edilmez?
Arama motorları robots.txt dosyasını ve kuralları kendi tarama planlarına göre yeniden alır. Dosyanın tarayıcıda doğru görünmesi, arama sonuçlarının anında değişeceği anlamına gelmez. Önce kuralın doğru yolu hedeflediğini, önemli sayfaları yanlışlıkla kapatmadığını ve sayfanın başka bir nedenle indekslenip indekslenmemesi gerektiğini kontrol edin.
robots.txt dosyası site haritası yerine kullanılabilir mi?
Hayır. robots.txt tarama kısıtlarını bildirir; XML site haritası ise taranması ve keşfedilmesi istenen URL’leri listeler. İkisi farklı amaçlara hizmet eder ve biri diğerinin yerine geçmez.
