- Konu sahibi
- #1
Blogger robots.txt oluşturma
Blogger’da özel robots.txt oluşturmak için yönetim panelindeki tarayıcılar ve dizine ekleme ayarlarından özel robots.txt kullanımını etkinleştirip kuralları metin alanına ekleyin. Özel ayar mevcut varsayılan dosyanın yerini alır; yalnız gerçek bir ihtiyacınız varsa değiştirin ve önce mevcut metni kaydedin. Aşağıdaki kurgu örnek yalnız arama yolu kısıtlamak içindir, her blog için hazır güvenli SEO reçetesi değildir:
Kod:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xmlBuradaki
example.com kısmını kendi blog adresinizle değiştirin. Özel alan adı kullanıyorsanız alan adınızı, Blogger alt alan adını kullanıyorsanız blogunuzun .blogspot.com adresini yazın.robots.txt nasıl çalışır?
robots.txt, arama motoru botlarına sitenizin hangi URL yollarını taramaması veya tarayabilmesi gerektiğini bildiren düz metin dosyasıdır.
User-agent: * bütün botlar için kural tanımlar. Disallow: /search, Blogger’ın arama sonuçları gibi /search yolu altındaki adreslerin taranmasını istemez. Allow: / ise genel site yollarının açık olduğunu belirtir. Sitemap: satırı da XML site haritasının konumunu bildirir.Bu dosya bir güvenlik mekanizması değildir. Gizli bir sayfayı korumaz ve engellenen URL’nin arama sonuçlarından kesinlikle silineceğini garanti etmez. Hassas içerik için erişim kontrolü kullanılmalıdır. Ayrıca robots.txt ile engellenen bir URL, başka sayfalardan bağlantı alıyorsa arama sonuçlarında yalnızca adresi veya sınırlı bilgileriyle görünebilir.
Blogger’da uygulanabilir kurulum
Ön koşul, blogun yönetici hesabına erişmeniz ve blog için özel robots.txt özelliğini kullanmak istemenizdir. Kuralı yayımlamadan önce kendi alan adınızı örnekteki alan adıyla değiştirdiğinizden emin olun.
- Blogger'da ilgili blogu seçip Ayarlar > Tarayıcılar ve dizine ekleme bölümündeki Özel robots.txt'yi etkinleştir seçeneğini bulun. Arayüz diline göre etiketler değişebilir.
- Özel robots.txt kullanımını etkinleştirip yukarıdaki örneği kendi yollarınızla metin alanına ekleyin. İhtiyacınız olan mevcut bot gruplarını ve sitemap bildirimlerini bilinçsizce silmeyin.
-
https://example.com/sitemap.xmlsatırını blogunuzun gerçek ve erişilebilir site haritası adresiyle değiştirin. Alan adınızda HTTPS kullanılıyorsa HTTPS adresini koruyun. - Ayarı kaydedin ve tarayıcıda
https://example.com/robots.txtadresini açın. Dosya metin olarak görüntüleniyorsa yayımlama başarılıdır. - Dosyada değişiklik yaptıysanız önce engellemek istediğiniz yolun gerçekten doğru olduğuna bakın; ardından robots.txt adresini yeniden açarak kaydedilen içeriği kontrol edin.
Başarı sonucu, dosyanın doğrudan
/robots.txt adresinde okunması ve satırların kaydettiğiniz içerikle eşleşmesidir. Sayfa bulunamıyorsa özel ayar kaydedilmemiş, yanlış alan adı kontrol edilmiş veya alan adı yönlendirmesi tamamlanmamış olabilir. Dosya açılıyor fakat istediğiniz URL taranmaya devam ediyorsa kuralın yoluyla gerçek URL yolunu karşılaştırın; robots.txt kuralları geçmiş taramaları geri almaz ve botların kurallara uyacağı garanti edilemez.Blogger'da üç farklı denetimi ayırın
| Ayar | Amaç | Karıştırılmaması gereken |
|---|---|---|
| Özel robots.txt | Uyumlu botların yol bazlı tarama tercihi | Sayfaya erişim şifresi veya kesin dizinden çıkarma |
| Özel robots başlık etiketleri | Dizine alma yönergelerini ayarlamak | Aynı adı taşıyan robots.txt metni |
| Gizlilikte arama motorlarına görünürlük | Blogun arama motorlarınca bulunmasına ilişkin tercih | Tek bir URL yolunun Disallow kuralı |
Hangi kuralı ne zaman kullanmalı?
/search öneki etiket sayfaları gibi daha geniş adreslerle de eşleşebilir. Hangi URL'lerin kapanacağını örneklerle kontrol etmeden bu satırı eklemeyin. Ana sayfa, yazılar, etiket sayfaları veya gerekli tema kaynaklarını geniş bir Disallow: / kuralıyla engellemeyin. Bu kural tüm siteyi taramaya kapatır ve arama motorlarının önemli içerikleri keşfetmesini önleyebilir.Bir yazının arama sonuçlarından çıkarılmasını istiyorsanız robots.txt engeli tek başına doğru araç olmayabilir; çünkü bot engellenen sayfadaki kaldırma sinyalini okuyamayabilir. Böyle bir durumda sayfanın erişilebilirliğini, uygun sayfa yönergelerini ve arama motorunun kendi kaldırma süreçlerini ayrı değerlendirin. robots.txt değişikliğinin etkisini görmek için de dosyayı ve önemli sayfaların taranabilirliğini düzenli olarak kontrol edin.
Sık yapılan hatalar
- Sitenin tamamını engellemek:
Disallow: /satırı tüm yolları kapsar. Yalnızca gerçekten gereksiz bir yolu hedefleyin. - Alan adını değiştirmemek:
example.comgerçek site haritası adresi değildir; örneği olduğu gibi bırakırsanız botlar yanlış haritaya yönlendirilir. - Dosyayı yanlış adreste denemek: Robots.txt, yazı URL’sinde değil, alan adının kökünde
/robots.txtolarak kontrol edilmelidir. - Robots.txt’yi güvenlik sanmak: Bu dosya erişimi engellemez; yalnızca uyumlu botlara tarama tercihi bildirir.
- Çelişkili kurallar eklemek: Aynı yolu farklı satırlarda hem engelleyen hem açan karmaşık kurallar beklenmedik sonuçlara yol açabilir. Önce küçük ve açık bir dosya kullanın.
Sık sorulan sorular
robots.txt değişikliğinden sonra sonuçlar hemen görünür mü?
Hayır. Botlar dosyayı yeniden ziyaret edene kadar eski kuralları kullanabilir. Önce
/robots.txt adresinde doğru içeriğin yayımlandığını doğrulayın; sonrasında tarama etkisinin oluşması zaman alabilir.Özel dosyayı kapatınca blog için robots.txt kalır mı?
Özel içerik varsayılan dosyanın yerine kullanılır. Özel ayarı kapattığınızda platformun varsayılan çıktısını yeniden
/robots.txt adresinden kontrol edin. Geri dönüşün istediğiniz sayfa erişimini koruduğunu varsaymadan gerçek dosyayı okuyun.