Google bir sayfayı nasıl bulur, tarar ve indekslemeye neye göre karar verir

Google bir sayfayı bulmak, taramak ve sonunda indekslemeye değer görüp görmemek için birkaç ayrı sinyali birlikte değerlendirir; sayfa yalnızca erişilebilir olduğu için otomatik olarak sonuçlara girmez.

Bu yazı, tarama engeli, HTTP durumu, noindex, içerik tipi ve Search Console raporlarının bu kararda nasıl farklı rol oynadığını ayırır; böylece bir URL’nin neden görünmediğini tek bir nedene bağlamadan okuyabilirsiniz.

Google bir sayfayı nasıl bulur, tarar ve indekslemeye neye göre karar verir?​

Google’da bir URL’nin görünmemesi her zaman tek bir arızaya işaret etmez. Bazen Google sayfaya ulaşamaz, bazen sayfayı ulaşılabilir bulur ama çalıştığını doğrulayamaz, bazen de içerik teknik olarak okunabilir olsa bile indekslememeyi seçer. Bu ayrımı anlamak, önce sorunu tarama mı, erişim mi, indeksleme kararı mı diye ayırmayı gerektirir.

Google Search Central belgeleri bu sürecin tek adımlı olmadığını açıkça gösteriyor. Önce Googlebot’un sayfayı bulabilmesi ve erişebilmesi gerekir; sonra sayfanın çalışır durumda olması ve indexable content taşıması beklenir. Buna rağmen indeksleme yine de garanti değildir. Bu yüzden doğru teşhis, tek bir kontrol yerine sırayla birkaç sinyale bakarak yapılır.

Googlebot’un erişmesi neden ilk eşiktir?​

Bir sayfa kamuya açık değilse veya Googlebot’u engelliyorsa, diğer sinyallerin çoğu pratikte anlamını kaybeder. robots.txt engeli, giriş zorunluluğu ya da benzer erişim kısıtları, Google’ın içeriğe ulaşmasını durdurabilir. Bu durumda sorun sıralama değil, önce taranabilirliktir.

Burada önemli ayrım şudur: Google’ın sayfayı bulabilmesi ile sayfayı alıp işleyebilmesi aynı şey değildir. URL keşfedilmiş olsa bile bot içeriği okuyamıyorsa sayfa indeksleme aşamasına sağlıklı geçmez. Bu nedenle erişim katmanı, görünürlük sorununun temel nedenlerinden biridir.

Erişim engeli ile indeksleme kararı aynı şey değildir​

Erişim engeli varsa Google çoğu zaman sayfayı yeterince değerlendiremez. Buna karşılık sayfaya erişebildiği halde indekslememeyi seçerse, sorun artık engel değil sinyal yorumudur. Bu ayrım özellikle robots.txt, noindex ve HTTP hata sayfalarını birbirine karıştıran durumlarda işe yarar.

Pratikte şu sırayı izlemek daha sağlıklıdır: önce Googlebot erişebiliyor mu, sonra sayfa 200 durum kodu veriyor mu, sonra içerik indekslenebilir mi. Bu sıra bozulursa sorun yanlış katmanda aranır ve teşhis uzar.

HTTP 200 ve indexable content neden birlikte düşünülmelidir?​

Google yalnızca çalışan sayfaları indekslemeye aday görür. Teknik gereksinimlerde açıkça, sayfanın HTTP 200 yanıtı döndürmesi ve Google’ın desteklediği biçimde indekslenebilir içerik taşıması gerekir. Bir hata sayfası ya da eksik içerik, Google’ın sayfayı sonuçlara taşımamasına yol açabilir.

Bu noktada içerik kalitesi ile teknik okunabilirlik farklı şeylerdir. Sayfa çalışıyor olsa bile içerik biçimi Google’ın anlayacağı türde değilse veya spam politikalarını ihlal ediyorsa indeksleme beklenmez. Yani “sayfa açılıyor” demek, “Google indeksler” demek değildir.

Noindex neyi değiştirir?​

Noindex robots meta etiketi, Google’a içeriği indekslememesi gerektiğini söyler. Bu, taramayı tamamen durdurmaktan farklıdır; Google sayfayı görebilir ama arama sonuçlarında göstermemeye karar verebilir. Böylece kullanıcı görünürlüğü ile tarama davranışı birbirinden ayrılır.

Bu ayrım, özellikle yanlış kurulumlarda önemlidir. Bir URL erişilebilir görünse bile noindex yüzünden sonuçlarda çıkmayabilir. Teşhiste bu yüzden yalnız erişim kontrolü yetmez; sayfanın indeksleme talimatları da okunmalıdır.

Search Console’da hangi raporlar önce okunur?​

Google, erişilemeyen URL’leri anlamak için Page Indexing ve Crawl Stats raporlarının birlikte kullanılmasını önerir. Bu iki rapor aynı şeyi göstermez; biri indeksleme durumunu, diğeri tarama davranışını daha iyi anlamaya yardım eder. Tek bir rapora bakmak çoğu zaman eksik resim verir.

Eğer hedefiniz bir URL’nin neden görünmediğini anlamaksa, önce sayfa bazlı durumuna bakmak, sonra tarama geçmişini incelemek daha doğru olur. Böylece sorun keşif, erişim, çalışma durumu veya indeksleme talimatı arasında daha temiz ayrılır.

Raporlar size neyi söylemez?​

Search Console değerli bir teşhis aracıdır ama tek başına tüm sorunun cevabı değildir. Bir URL’nin neden seçilmediğini bazen ancak teknik sinyallerin toplamından çıkarabilirsiniz. Özellikle site yeni ise veya sayfa çok az sinyal taşıyorsa, indeksleme gecikmesi ile kalıcı engeli ayırmak gerekir.

Bu yüzden raporları hüküm vermek için değil, hipotez daraltmak için kullanmak daha doğrudur. Önce erişim ve çalışma durumu kontrol edilir, sonra noindex ve içerik uygunluğu okunur, en son tarama ve indeksleme raporları birlikte değerlendirilir.

Hangi teknik işaret hangi soruya cevap verir?​

Aynı URL için farklı sinyaller farklı sorulara cevap verir. robots.txt erişimi, HTTP durumu sayfanın çalışıp çalışmadığını, noindex ise Google’ın içeriği göstermeme isteğini anlatır. Bu işaretleri karıştırmadan okumak, sorunu gereksiz yere içerik optimizasyonuna yormayı engeller.

Aşağıdaki özet, hangi işaretin hangi aşamada daha anlamlı olduğunu gösterir. Bu, tek başına tanı koymaz; ama doğru kontrol sırasını kurar ve yanlış yorum riskini azaltır.