Robots.txt Sitemap bildirimi

robots.txt içinde Sitemap bildirimi yapacaksanız göreli yol değil, protokolü ve alan adı bulunan mutlak URL kullanın. En küçük geçerli örnek şöyledir:


Buradaki Sitemap: satırı, arama motoru tarayıcılarına site haritasının veya sitemap indeks dosyasının konumunu bildirir. Bu bildirim belirli bir User-agent grubuna bağlı değildir. Var olan tarama gruplarını değiştirmeden ayrı bir satır olarak ekleyebilirsiniz. Ancak site haritası URL'si gerçekten erişilebilir olmalı ve robots.txt dosyası sitenin kök adresinde, yani https://example.com/robots.txt konumunda sunulmalıdır.

Mutlak URL nasıl yazılır?​

Sitemap satırında yalnızca dosya yolunu yazmak hatalı veya eksik kullanımdır:


Doğru biçimde protokol, ana makine ve dosya yolu birlikte yer alır:


Basit bir kurulumda sitemap dosyasını sitenin kullandığı asıl ana makinede sunun. Farklı bir ana makinede barındırma mümkün olsa da ilgili sitelerin bildirimi ve sitemap kapsamı doğru kurulmalıdır. http:// ve https:// seçeneklerini de rastgele değiştirmeyin; sunucunun gerçekten yayınladığı adresi kullanın.

Sitemap indeksi ve birden fazla bildirim​

Birden fazla sitemap dosyanız varsa her birini ayrı satırla bildirebilirsiniz:


Alternatif olarak tek bir sitemap indeks dosyasını bildirip, indeks içinde alt sitemap dosyalarını listeleyebilirsiniz:


Bu durumda robots.txt içine alt dosyaların tamamını tekrar yazmanız gerekmez. İndeks dosyasındaki her loc değeri, ilgili sitemap dosyasının mutlak URL'si olmalıdır. İndeks kullanmak özellikle içerikleri türüne, bölgesine veya yayın yapısına göre birden fazla dosyaya ayırdığınızda yönetimi kolaylaştırır.

Karar vermeyi kolaylaştırmak için temel seçenekler şöyledir:
Sitemap bildirimi yalnızca keşif için bir işarettir; dosyada bulunan URL'lerin mutlaka taranacağı veya dizine ekleneceği anlamına gelmez. Bu nedenle sitemap içine yalnızca arama sonuçlarında bulunmasını istediğiniz, erişilebilir ve doğru kanonik URL'leri koyun.

Dosyaların HTTP erişimini doğrulama​

Dosyaları sunucuya koyduktan sonra anonim HTTP GET isteğiyle kontrol edin. Yalnız HEAD yanıtına bakmak, gerçek dosya içeriğinin de doğru döndüğünü kanıtlamaz. Aşağıdaki komutlarda kendi alan adınız yerine example.com kullanılmıştır:

1. Robots.txt dosyasının başlıklarını kontrol edin:
   
   Bash:

   curl -L --include https://example.com/robots.txt

   Başarılı sonuçta son yanıtın 200 olması beklenir. 404 sonucu dosyanın yanlış konumda veya hiç yayınlanmamış olabileceğini gösterir. 403 ya da 5xx yanıtları tarayıcıların dosyaya ulaşmasını engelleyebilir.
2. Dosyanın içeriğinde Sitemap satırını kontrol edin:
   
   Bash:

   curl -L https://example.com/robots.txt

   Çıktıda protokol ve alan adı bulunan tam sitemap URL'sini arayın. Göreli yol görüyorsanız satırı düzeltin.
3. Bildirilen sitemap veya indeks dosyasını doğrudan isteyin:
   
   Bash:

   curl -L --include https://example.com/sitemap.xml

   Burada da son yanıtın 200 olması ve yönlendirmenin gerçek dosyaya ulaşması gerekir. 404 yanlış dosya adı veya yol, 301/302 ise yönlendirme olduğunu gösterir; yönlendirme sonrası hedefin başarılı yanıt verdiğini ayrıca doğrulayın.
4. XML içeriğini kontrol edin:
   
   Bash:

   curl -L https://example.com/sitemap.xml

   Normal sitemap dosyasında XML içeriği, sitemap indeksinde ise sitemapindex kök yapısı ve alt dosyaları gösteren loc değerleri bulunmalıdır.

Sitemap erişilemiyorsa önce dosya yolunu, alan adı varyantını, SSL yapılandırmasını, sunucu erişim kuralını ve CDN önbelleğini kontrol edin. Robots.txt erişilebilir fakat sitemap URL'si erişilemez durumdaysa bildirimi değiştirmek yerine önce sitemap'ın doğru adreste yayınlandığından emin olun. Her iki dosya da doğrudan açılıyor ve 200 dönüyorsa sonraki adım, sitemap veya sitemap indeksini Search Console'da gönderip işleme durumunu takip etmektir.

Sık yapılan hatalar​

Göreli URL kullanmak: Sitemap: /sitemap.xml yerine tam URL yazılmalıdır.

Sitemap indeksini normal sitemap sanmak: İndeks dosyası, sayfa URL'lerini değil diğer sitemap dosyalarını listeler. Dosya yapısı buna uygun olmalıdır.

Dosyayı yerelde bırakmak: Bilgisayarda bulunan veya giriş gerektiren sitemap tarayıcılar tarafından kullanılamaz; anonim HTTP isteğiyle erişilebilir olmalıdır.

Yanlış alan adı varyantı bildirmek: Sitemap başka bir alt alan adında veya farklı protokoldeyse, bildirilen tam adresin gerçekten çalıştığını ayrıca test edin.

Sık sorulan sorular​

CMS robots.txt dosyasını yeniden oluşturursa ne yapmalıyım?​

Önce dosyanın elle mi yoksa CMS tarafından mı üretildiğini belirleyin. Otomatik üretiliyorsa bildirimi desteklenen ayar veya özelleştirme noktasına ekleyin. Güncellemeden sonra sunucunun döndürdüğü gerçek robots.txt içeriğini yeniden kontrol edin.

Sitemap URL'si başka bir alan adında olabilir mi?​

Evet, robots.txt Sitemap değeri farklı bir ana makineyi gösterebilir; ancak dosyanın gerçekten erişilebilir olması ve ilgili site haritası ilişkisinin doğru yapılandırılması gerekir. Basit kurulumlarda sitemap'ı aynı alan adında tutmak hata ihtimalini azaltır.

Bildirimi eklemek sitemap dosyasını da oluşturur mu?​

Hayır. Bu satır yalnızca mevcut dosyanın konumunu bildirir. URL uygulamanın hata sayfasını döndürüyorsa önce sitemap üretimini veya dosya yolunu düzeltin; ardından erişimi yeniden sınayın.