Google’da bir sayfanın taranabilmesi için ne gerekir

Google’da bir sayfa taranamıyorsa sorun çoğu zaman indeksleme değil, önce erişim katmanındadır. Bu yüzden ilk bakılacak şey URL’nin bulunabilir olup olmadığı, Googlebot’un engellenip engellenmediği ve sayfanın gerçekten 200 yanıt verip vermediğidir.

Tarama ile indeksleme aynı şey değildir. Bir sayfa taranabilir ama yine de dizine girmez; bu metin, URL Inspection ve Crawl Stats gibi araçlarla hangi aşamanın bozulduğunu ayırmayı ve robots.txt, canonical, sitemap ve içerik kalitesi sinyallerini doğru sırada okumayı açıklar.

Googlebot’un erişmesi için önce hangi kapılar açık olmalı​

Google bir sayfayı taramaya başlamadan önce, sayfaya teknik olarak ulaşabilmelidir. En temel ayrım şudur: sayfa public olmalı, Googlebot engellenmemeli ve sunucu sayfayı başarılı biçimde döndürmelidir. Bu yüzden “neden görünmüyor?” sorusunun ilk cevabı çoğu zaman “önce taranabiliyor mu?” sorusudur.

Buradaki kontrol, yalnızca bir robots.txt satırına bakmaktan ibaret değildir. Login duvarı, sunucu hatası, yanlış yönlendirme zinciri, noindex uygulaması ve kopya URL kümeleri farklı katmanlarda çalışır; sorun çözülecekse bu katmanların hangisinin yolu kestiği anlaşılmalıdır.

Googlebot’un engellenmediğini nasıl anlarsınız​

Googlebot bir sayfaya erişemiyorsa sayfanın taranması baştan durur. robots.txt bunu açıkça yapabilir; ancak tek engel robots.txt değildir. Özel alan, oturum açma zorunluluğu veya güvenlik kalkanı da taramayı fiilen kesebilir. Bu yüzden erişim kontrolü, yalnız “dosya var mı?” değil “Google o URL’ye gerçekten girebiliyor mu?” sorusudur.

Tarama engeli ile dizine alınmama farklı sonuçlar doğurur. robots.txt engeli varsa Google sayfayı hiç görmeyebilir; ama URL bazı durumlarda hâlâ sonuçlarda yer alabilir. Bu yüzden “engellendi” ifadesi, “kesin görünmez” anlamına gelmez; yalnızca tarama yolunun kapandığını söyler.

HTTP yanıtı ve sayfa içeriği neden birlikte okunmalı​

Bir URL’nin taranabilmesi için Google’ın başarılı bir HTTP yanıtı alması gerekir. 200 yanıtı, sayfanın teknik olarak ulaşılabildiğini gösterir; buna karşılık 404, 5xx, aşırı yönlendirme zinciri ya da tutarsız yanıtlar taramayı ve sonraki değerlendirmeyi bozabilir. Bu yüzden sunucu yanıtı, içerik kontrolünden önce gelir.

Ancak 200 yanıtı tek başına yeterli değildir. Sayfanın dizine alınabilir içerik taşıması gerekir; aksi halde Google sayfayı görse bile onu arama indeksine taşımayabilir. Buradaki ince nokta şudur: tarama başarıyla tamamlanmış olsa bile içerik çok zayıf, yinelenen ya da anlamca boşsa indeksleme beklentisi düşer.

robots.txt, noindex ve canonical neden aynı sorun değildir​

Google’da görünmeme sorununu çözerken en sık yapılan hata, her şeyi tek bir engel gibi okumaktır. Oysa robots.txt taramayı, noindex dizine girişi, canonical ise benzer URL’ler arasındaki tercih sinyalini etkiler. Üçü aynı aileden görünse de karar verdikleri aşama farklıdır.

Bu ayrımı doğru kurduğunuzda, gereksiz müdahale de azalır. Tarama istemediğiniz bir alanı robots.txt ile kapatmak başka şeydir; taranabilsin ama dizinde olmasın demek başka şeydir; benzer sayfalar arasında Google’a tercihi daha net göstermek ise canonical’ın işidir.

robots.txt ne zaman doğru araçtır​

robots.txt, Google’ın belirli URL’leri taramasını istemediğinizde kullanılır. Özellikle sonsuz alanlar, filtreli kopyalar veya kullanıcıya değer katmayan teknik URL’ler için uygundur. Fakat önemli bir sınır var: robots.txt, Google’ın sayfayı görmesini engeller; bu yüzden noindex kararını da her zaman değerlendiremez.

Bu nedenle robots.txt, “indekslenmesin” aracı gibi düşünülmemelidir. Google Search dokümanları da bunu bir tarama kontrolü olarak konumlandırır. Eğer amacınız yalnızca dizinden çıkarmaksa, taramayı tamamen kesmek yerine noindex gibi farklı bir yol daha uygun olabilir.

canonical neyi çözer, neyi çözmez​

Canonical, benzer ya da kopya URL’ler arasında Google’a hangi sürümün tercih edilmesi gerektiğini anlatmaya yarar. Bu, özellikle ürün sayfaları, filtreli listeler, parametreli URL’ler ya da hem HTTP hem HTTPS gibi varyantlar olan yapılarda önemlidir. Canonical’ın gücü, taramayı kapatmak değil, sinyalleri bir ana sürümde toplamaktır.

Ancak canonical bir garanti değildir. Google başka sinyalleri daha güçlü görürse farklı bir URL’yi seçebilir. Bu yüzden canonical, tek başına “ben bunu seçtim” demek değildir; yönlendirme, sitemap ve iç bağlantılarla birlikte okunmalıdır.

Search Console’da hangi rapor neyi anlatır​

Bir URL’nin neden görünmediğini anlamak için tek bir ekran yeterli değildir. Search Console’daki URL Inspection, bir URL’nin bireysel durumunu gösterir; Crawl Stats ise sitenin genel tarama davranışını anlamaya yardım eder. Büyük sitelerde bu ayrım özellikle önemlidir.

Buradaki amaç, tek URL hatası ile site geneli kapasite sorununu ayırmaktır. Bir sayfa özelinde bloklama olabilir; aynı zamanda sitenin başka bir yerinde gereksiz URL yükü yüzünden önemli sayfalara daha az tarama düşüyor olabilir. Aynı soruna farklı ölçeklerde bakmak gerekir.

URL Inspection ne zaman ilk duraktır​

Bir URL tek başına sorunluysa URL Inspection ilk bakılacak yerlerden biridir. Burada crawl allowed ve indexing allowed gibi sinyaller, sorunun tarama mı yoksa dizine alma mı tarafında olduğunu ayırmaya yardım eder. Özellikle robots.txt etkisi ve noindex yorumları bu araçta daha net görünür.

Bu araç, “Google ne biliyor?” sorusunu bireysel URL düzeyinde yanıtlar. Fakat tek bir sonuç ekranına takılıp kalmamak gerekir; çünkü site genelinde çok sayıda benzer URL varsa asıl sorun bir örnek değil, sistem olabilir.

Crawl Stats büyük sitelerde neden daha değerlidir​

Crawl Stats, Google’ın site genelinde nasıl tarama yaptığına bakmanıza yardım eder. Google çok fazla gereksiz URL ile uğraşıyorsa, sitenin geri kalanını daha az keşfedebilir. Bu etki, özellikle büyük kataloglarda veya parametreli yapılarda belirginleşir.

Bu raporun değeri, tek bir URL’nin değil tarama davranışının resmini vermesidir. Önemli sayfalar geç keşfediliyorsa sorun bazen içerikte değil, tarama bütçesini tüketen gereksiz URL üretimindedir.

Tarama bütçesi, sitemap ve gereksiz URL yükü nasıl birlikte düşünülür​

Tarama bütçesi konusu yalnızca büyük sitelerin teknik ayrıntısı değildir; Google’ın zamanını nereye harcadığına dair operasyondur. Gereksiz URL üretimi arttıkça önemli sayfaların keşfi gecikebilir veya tarama verimi düşebilir. Bu yüzden bütçe, site mimarisiyle beraber ele alınmalıdır.

Sitemap burada yardımcı bir işaret olarak kalır. Temiz bir sitemap, Google’a hangi URL’lerin öncelikli olduğunu anlatır; ama kötü mimariyi tek başına düzeltmez. Eğer gereksiz varyantlar, parametreler ya da tekrar eden yollar çoksa, önce bunların neden oluştuğu anlaşılmalıdır.

Hangi durumlarda robots.txt ile kısıtlama mantıklıdır​

Tarama istemediğiniz alanlar varsa robots.txt uygundur; özellikle sonsuz alanlar, aynı içeriğin farklı sıralama varyantları veya kullanıcıya gereksiz yük bindiren teknik sayfalar için. Fakat bu karar, “hepsini kapat” refleksiyle verilmemelidir.

Önemli ayrım şudur: robots.txt bir temizlik aracı değil, uzun vadeli erişim politikasıdır. Sık açıp kapatmak, geçici yeniden tahsis yapmak veya sorun görünce rastgele blok eklemek tarama davranışını sağlıklı yönetmez.

Sitemap ne zaman faydalı olur​

Sitemap, özellikle yeni, derin ya da iç bağlantısı zayıf URL’lerin keşfine yardımcı olabilir. Fakat Google’ın da açıkça söylediği gibi, sitemap indeksleme garantisi vermez. Bu yüzden sitemap’ı bir onay mekanizması değil, keşif yardımcısı olarak görmek gerekir.

Temiz, güncel ve gerçekten indekslenmesini istediğiniz URL’leri içeren bir sitemap, tarama verimini destekler. Ancak ana sorun robots.txt, canonical, noindex ya da sunucu hatasıysa sitemap bunları gizlemez; yalnızca keşif sinyali ekler.

İyi teşhis için en kısa karar yolu nedir​

En pratik yaklaşım, soruyu sırayla daraltmaktır: Google URL’ye erişebiliyor mu, sayfa 200 döndürüyor mu, içerik dizine uygun mu, canonical ve robots sinyalleri çakışıyor mu? Bu sırayı bozarsanız yanlış katmana müdahale etme riski artar.

Son adımda bakmanız gereken şey, tek bir işaret değil işaretlerin birlikte söyledikleridir. Googlebot engeli, HTTP yanıtı, robots.txt, canonical, sitemap ve crawl stats aynı tabloyu farklı açılardan gösterir; doğru yorum, bu sinyallerin hangi noktada ayrıştığını okumaktır.

Kısa kontrol sırası​

Önce URL’nin erişilebilirliğini, sonra HTTP yanıtını, sonra taramayı engelleyen bir kural olup olmadığını kontrol edin. Ardından canonical ve sitemap sinyallerinin sayfanın gerçek hedefiyle uyumlu olup olmadığına bakın.

Bu sıralama, sorun kaynağını hızlıca ayırır: erişim mi, tarama mı, indeksleme mi, yoksa tercih edilen sürüm mü? Böylece aynı soruna yanlış araçla yaklaşmaz ve teşhisi gereksiz yere karmaşıklaştırmazsınız.