robots.txt dosyası GEO için, AI botlarının hangi sayfalara erişeceğini düzenlemek için kullanılır; sayfayı arama sonuçlarından gizlemenin ana aracı değildir.
Bu yazı, robots.txt’nin taramayı nasıl etkilediğini, hangi durumda erişim verdiğini, hangi durumda yalnızca taramayı kestiğini ve GEO’da AI görünürlüğü için neden tek başına yeterli olmadığını açıklar.
GEO bağlamında bu ayrım önemlidir; çünkü üretken sistemlerde görünür olmak için bazen içeriklerin taranmasına izin vermek gerekir, ama gereksiz klasörleri, tekrar eden sayfaları ya da teknik alanları kapatmak da tarama bütçesini korur. Yani doğru yaklaşım, bütün siteyi açmak ya da kapatmak değil, hangi yolların keşfedileceğini kontrollü biçimde belirlemektir.
Bu ayrım GEO için kritik olduğu için, robots.txt ile noindex aynı amaçta sanılmamalıdır. Eğer hedefiniz yalnızca tarama yükünü azaltmaksa robots.txt uygundur. Eğer hedefiniz bir sayfanın arama sonuçlarında hiç görünmemesi ise noindex ya da parola koruması gibi farklı yöntemler gerekir. Bu farkı gözden kaçırmak, AI sistemlerine görünmesini istemediğiniz bir URL’nin yine de çevrimiçi sinyallerle keşfedilmesine yol açabilir.
Bunun pratik sonucu şudur: Ana makaleler, kategori sayfaları, yazar sayfaları ve güvenilir kaynak niteliği taşıyan içerikler açık bırakılır; staging alanları, iç arama, sepet, oturum ve çoğaltılmış teknik sayfalar kapatılır. Böylece hem gereksiz tarama azalır hem de üretken sistemlerin kullanabileceği temel içerik daha kolay erişilebilir olur.
İkinci adım, indeksleme ile taramayı ayırmaktır. Eğer bir sayfa hem taranmasın hem de sonuçlarda görünmesin isteniyorsa, robots.txt’ye güvenmek yerine indeksleme kontrolünü ayrıca kurmak gerekir. Üçüncü adım, değişiklik sonrası bot davranışını izlemektir; çünkü OpenAI belgeleri robots.txt güncellemesinin sistemlerde etkisinin hemen değil, kısa bir gecikmeyle yansıyabileceğini belirtiyor.
İkinci hata, önemli içerikleri gereksiz yere kapatmaktır. Eğer bir sayfanın AI sistemleri tarafından keşfedilmesini, atıf almasını veya kaynak olarak kullanılmasını istiyorsanız, onu robots.txt ile istemeden dışlamak ters etki yaratır. GEO tarafında en doğru yaklaşım, erişimi daraltırken ana içerik yollarını açık tutmak ve indeksleme kontrolünü ayrı değerlendirmektir.
Bu yazı, robots.txt’nin taramayı nasıl etkilediğini, hangi durumda erişim verdiğini, hangi durumda yalnızca taramayı kestiğini ve GEO’da AI görünürlüğü için neden tek başına yeterli olmadığını açıklar.
GEO için robots.txt dosyası nasıl düzenlenir?
robots.txt’yi GEO açısından doğru kurmanın özü, arama botları ile üretken yapay zekâ botlarını aynı dosya içinde bilinçli biçimde yönetmektir. Önce hangi içeriklerin taranmasını istediğinizi, hangi içeriklerin taranmasına gerek olmadığını ve hangi alanların özellikle açık kalması gerektiğini ayırırsınız. Google’ın açıklamasına göre robots.txt, tarayıcıların hangi URL’lere erişebileceğini belirtir; ancak bu, bir sayfayı sonuçlardan gizleyen bir mekanizma değildir. OpenAI’nın yayımladığı belgeler de OAI-SearchBot gibi botların robots.txt kurallarına uyduğunu ve engellenirse taramanın durduğunu açıkça söylüyor.GEO bağlamında bu ayrım önemlidir; çünkü üretken sistemlerde görünür olmak için bazen içeriklerin taranmasına izin vermek gerekir, ama gereksiz klasörleri, tekrar eden sayfaları ya da teknik alanları kapatmak da tarama bütçesini korur. Yani doğru yaklaşım, bütün siteyi açmak ya da kapatmak değil, hangi yolların keşfedileceğini kontrollü biçimde belirlemektir.
robots.txt neyi kontrol eder, neyi kontrol etmez?
robots.txt’nin kontrol ettiği şey taramadır. Google, sayfaya erişmeden önce robots.txt dosyasını indirip yorumladığını ve bunun site içinde hangi bölümlerin taranabileceğini belirlediğini bildiriyor. Bu yüzden disallow kuralı, botun o yolu ziyaret etmesini engeller. Fakat bu tek başına indeksleme kontrolü değildir; Google’ın belgelerinde, robots.txt ile engellenen bir URL’nin başka yerlerden bulunursa yine de dizine girebileceği belirtilir.Bu ayrım GEO için kritik olduğu için, robots.txt ile noindex aynı amaçta sanılmamalıdır. Eğer hedefiniz yalnızca tarama yükünü azaltmaksa robots.txt uygundur. Eğer hedefiniz bir sayfanın arama sonuçlarında hiç görünmemesi ise noindex ya da parola koruması gibi farklı yöntemler gerekir. Bu farkı gözden kaçırmak, AI sistemlerine görünmesini istemediğiniz bir URL’nin yine de çevrimiçi sinyallerle keşfedilmesine yol açabilir.
Tarama bütçesini korumak için hangi yollar kapatılır?
Tekrarlayan filtre sayfaları, iç arama sonuçları, gereksiz parametreli URL’ler ve kullanıcıya değer katmayan teknik klasörler çoğu sitede ilk kısıtlanan alanlardır. Amaç, botların önemli içeriklere daha rahat ulaşmasını sağlamaktır. Google’ın teknik yönergeleri de Googlebot’un erişmesi gereken kaynakların robots.txt ile yanlışlıkla engellenmemesi gerektiğini vurgular.Hangi yollar açık bırakılmalıdır?
GEO açısından ana içerik sayfaları, konu kümeleri, yardımcı soru-cevap sayfaları ve atıf almasını istediğiniz kaynak niteliğindeki içerikler açık kalmalıdır. Üretken sistemlerin alıntı yapabildiği ya da bağlantı verebildiği sayfalar için erişim engeli, görünürlüğü zayıflatabilir. OpenAI’nın yardım sayfaları da OAI-SearchBot’un ilgili sayfalara erişebilmesi gerektiğini açıkça belirtir.| Öğe | Ne anlama gelir |
|---|---|
| Tarama kontrolü | robots.txt, hangi botun hangi yolu tarayacağını belirtir; indekslemeyi tek başına yönetmez. |
| Gizleme amacı | Bir sayfayı arama sonucundan kaldırmak için tek araç olarak kullanılmamalıdır. |
| Kök dizin | Dosya alan adının kökünde olmalıdır; /blog/ gibi alt klasörler geçerli değildir. |
| Engelli URL | Disallow edilen URL başka yerden bulunursa yine görünebilir; bu yüzden noindex ayrı düşünülür. |
| AI bot erişimi | ChatGPT veya benzeri sistemlerde görünürlük isteniyorsa ilgili botlara gerekli yollar açık bırakılır. |
ChatGPT, Gemini ve Perplexity görünürlüğü için robots.txt nasıl düşünülür?
Bu platformların hepsinde ortak mantık aynıdır: Bot sayfaya erişemezse içerik keşfi zorlaşır. OpenAI, OAI-SearchBot ve GPTBot için ayrı kontrol mekanizmaları olduğunu ve bu ayarların bağımsız ele alınabildiğini bildiriyor. Perplexity de kendi arama tarayıcısının robots.txt sınırlarına uyduğunu söylüyor. Bu yüzden GEO stratejisinde, her platformu tek tek isimlendirmekten çok, site içinde hangi içerik sınıflarının botlar tarafından okunmasını istediğinizi netleştirmek daha sağlıklı olur.Bunun pratik sonucu şudur: Ana makaleler, kategori sayfaları, yazar sayfaları ve güvenilir kaynak niteliği taşıyan içerikler açık bırakılır; staging alanları, iç arama, sepet, oturum ve çoğaltılmış teknik sayfalar kapatılır. Böylece hem gereksiz tarama azalır hem de üretken sistemlerin kullanabileceği temel içerik daha kolay erişilebilir olur.
OAI-SearchBot için neye bakılır?
OpenAI, ChatGPT arama ve özetleme akışlarında OAI-SearchBot’un önemli olduğunu belirtiyor. Bu botun ilgili sayfalara erişebildiğini doğrulamak, ChatGPT tarafında içeriklerin özetlere ve alıntılara dâhil edilme ihtimalini artırmak için temel adımdır.PerplexityBot için neye bakılır?
Perplexity’nin yayımladığı teknik açıklamalara göre PerplexityBot da robots.txt sınırlarına uyar. Bu nedenle, önemli içeriklerin yanlışlıkla engellenmemesi gerekir; aksi halde içerik keşfi daralır.Uygulanabilir robots.txt düzeni nasıl kurulur?
İlk adım, site haritasını değil önce erişim mantığını düşünmektir: neyin okunmasını istiyorsunuz, neyin okunmasına gerek yok, neyin kesinlikle kapalı kalması gerekiyor? Sonra kuralları dar alandan geniş alana doğru yazarsınız. Genel bloktan önce daha özel izinler verilebilir; ama robots.txt’nin satır sırası ve kullanıcı aracısı eşleşmesi, site yapısına göre dikkatle test edilmelidir. Google’ın robots.txt spesifikasyonu, taramadan önce bu dosyanın indirildiğini ve yorumlandığını açıkça söylüyor.İkinci adım, indeksleme ile taramayı ayırmaktır. Eğer bir sayfa hem taranmasın hem de sonuçlarda görünmesin isteniyorsa, robots.txt’ye güvenmek yerine indeksleme kontrolünü ayrıca kurmak gerekir. Üçüncü adım, değişiklik sonrası bot davranışını izlemektir; çünkü OpenAI belgeleri robots.txt güncellemesinin sistemlerde etkisinin hemen değil, kısa bir gecikmeyle yansıyabileceğini belirtiyor.
Basit bir kurgu neye benzer?
Örnek yapı olarak ana içerikler açık, iç arama kapalı, tekrar eden parametre yolları kapalı, yönetim ve test alanları kapalı olacak şekilde düzen kurulur. Böylece botlar asıl değeri taşıyan sayfalara daha az sürtünmeyle ulaşır.GEO açısından en sık yapılan hata nedir?
En yaygın hata, robots.txt’yi görünürlük sigortası sanmaktır. Oysa Google’ın belgeleri, engellenen bir URL’nin yine de dış sinyallerle bulunabileceğini söylüyor. Bu yüzden robots.txt yalnızca erişim kapısıdır; içerik kalitesi, konu otoritesi, yapılandırılmış veri ve güvenilirlik sinyalleri ise ayrı katmanlardır.İkinci hata, önemli içerikleri gereksiz yere kapatmaktır. Eğer bir sayfanın AI sistemleri tarafından keşfedilmesini, atıf almasını veya kaynak olarak kullanılmasını istiyorsanız, onu robots.txt ile istemeden dışlamak ters etki yaratır. GEO tarafında en doğru yaklaşım, erişimi daraltırken ana içerik yollarını açık tutmak ve indeksleme kontrolünü ayrı değerlendirmektir.
