Yönetici
Sorunun özeti
XenForo için robots.txt dosyan, hem gereksiz dizinleri engellemeli hem de arama motorlarının forum içeriğini rahatça taramasına izin vermeli. Çok karmaşık kurallara gerek yok, temiz ve standarda yakın bir yapı yeterli.
Önerilen temel robots.txt (XenForo için)
Alan adının kök dizininde (public_html vb.) robots.txt dosyan olsun ve içeriği kabaca şöyle olabilir:
Kod:
User-agent: *
Disallow: /admin.php
Disallow: /admin.php/
Disallow: /install/
Disallow: /internal_data/
Disallow: /library/
Disallow: /src/
Disallow: /styles/
Disallow: /js/
Disallow: /templates/
Disallow: /data/
Disallow: /cache/
Disallow: /emails/
Disallow: /logs/
Disallow: /install-lock.php
Disallow: /offline.php
Disallow: /index.php?login/
Disallow: /login/
Disallow: /lost-password/
Disallow: /account/
Disallow: /conversations/
Disallow: /search/
Disallow: /whats-new/
Disallow: /goto/
Disallow: /attachments/
Allow: /attachments/*.*$
Sitemap: https://www.siteadresi.com/sitemap.phpAçıklamalar
- User-agent: * tüm botlar için geçerli.
- Admin, internal_data, src vb. dizinler güvenlik ve gereksiz tarama yükü açısından engelleniyor.
- /search, /whats-new, /account gibi kullanıcıya özel/dinamik sayfalar indexlenmesine gerek olmayan alanlar.
- /attachments tamamen engellenirse görsel index kaybedebilirsin, bu yüzden üstünü Disallow edip altına
Allowile dosyaları açmak da bir yöntem. İstersenDisallow: /attachments/satırını tamamen kaldırıp sadece dosyaları açık da bırakabilirsin. - Sitemap satırında kendi alan adını kullanman gerekiyor. XenForo varsayılan sitemap yolu
https://alanadın.com/sitemap.phpşeklindedir (Eğer Friendly URLs ve sitemap özelliği aktifse).
Dikkat etmen gerekenler
- robots.txt, SEO için sihirli bir ayar değildir; temel amaç gereksiz/dinamik alanları taratmamak ve sunucuyu rahatlatmaktır.
- Önemli forum URL’lerini (konular, forum kategorileri vs.) kesinlikle Disallow etme.
- Canlı sitede değişiklik yapmadan önce mevcut robots.txt dosyanın bir yedeğini al.
- Cloudflare, LiteSpeed Cache vb. kullanıyorsan robots.txt’nin cache’lenmediğinden emin ol; değişiklik anında yansımayabilir.
Sonuç
XenForo için sade, mantıklı bir robots.txt yeterli: yönetim/dosya/dinamik alanları kapat, normal konu ve forum URL’lerini açık bırak, sitemap adresini ekle ve aşırı agresif engelleme yapma. Bu yapı hem arama motorları hem de sunucunun sağlığı için genelde yeterlidir.
