Google’da bir sayfanın neden taranıp indekslenmediğini nasıl ayırırım

Google’da bir sayfanın görünmemesi çoğu zaman tek bir hatadan değil, yanlış yerde kullanılan bir sinyalden kaynaklanır. En hızlı ayrım şudur: robots.txt taramayı keser, noindex indekslemeyi durdurur, canonical ise Google’a hangi sürümü tercih etmesi gerektiğini söyler.

Bu farkı bilirseniz sorunu ‘Google neden sayfayı görmedi?’ seviyesinden çıkarıp hangi mekanizmanın devrede olduğunu anlayabilirsiniz. Aşağıda önce bu üç sinyalin neyi etkilediğini, sonra Search Console’da nasıl okunacağını ve en sonda da hangi durumda hangi düzeltmenin yapılacağını netleştiriyorum.

robots.txt, noindex ve canonical neyi değiştirir​

Google açısından bu üç sinyal aynı şey değildir. Birini yanlış amaçla kullanmak, sayfanın ya hiç taranmamasına ya da taransa bile yanlış URL’nin seçilmesine yol açabilir.

robots.txt taramayı keser, indekslemeyi değil​

robots.txt, Googlebot’un sayfaya istekte bulunup bulunamayacağını belirler. Googlebot sayfayı alamazsa içerikteki noindex kuralını da göremez; bu yüzden robots.txt, indekslemeyi engellemek için doğru araç değildir. Google’ın yardım belgeleri, indekslemeyi durdurmak istiyorsanız robots.txt yerine noindex kullanmanız gerektiğini açıkça belirtir.

Bu ayrım özellikle iki durumda önemlidir: sayfayı herkesten gizlemek istediğinizde ve yalnızca tarama bütçesini korumak istediğinizde. İlk durumda robots.txt tek başına yeterli değildir; ikinci durumda ise sayfanın zaten indekslenmesini istemiyorsanız ek bir indeks sinyali gerekir.

noindex tarama açıkken çalışır​

noindex, Google sayfayı görebildiği sürece etkili olur. Meta etiket ya da HTTP başlığı ile verilir ve Google sayfayı okuduktan sonra onu arama sonuçlarından çıkarır. Sayfa robots.txt ile bloklanmışsa Google bu kuralı göremez; yani noindex’in çalışması için sayfanın erişilebilir olması gerekir.

Pratikte bu, “sayfa taranıyor ama sonuçta görünmesin” ihtiyacının çözümüdür. Tarama bütçesi açısından da önemlidir; çünkü blok ile indeks kontrolü aynı araç değildir.

canonical tercih edilen sürümü işaret eder​

Canonical, benzer veya kopya URL’ler arasında Google’ın hangi adresi esas alacağını anlatır. Ancak bu bir garanti değildir; Google her zaman sizin belirttiğiniz canonical’ı seçmek zorunda değildir. URL Inspection ekranında hem kullanıcı tarafından bildirilen canonical hem de Google’ın seçtiği canonical ayrı görülebilir.

Bu yüzden canonical, görünürlüğü kapatan bir filtre değil, aynı içeriğin hangi sürümünün öne çıkacağını anlatan bir yönlendirme sinyalidir. Yanlış kullanıldığında sayfayı indeks dışına atmaz; fakat Google’ın farklı bir URL’yi ana sürüm saymasına neden olabilir.

Search Console’da hangi işaret ne anlatır​

Sorunu doğru çözmek için önce Google’ın neyi gördüğünü okumak gerekir. Search Console’daki raporlar, çoğu teknik SEO sorununda ilk ayrımı yapmanızı sağlar.

URL Inspection ekranında neye bakılır​

URL Inspection, özellikle üç bilgiyi birlikte kontrol etmek için kullanışlıdır: crawl allowed, indexing allowed ve Google-selected canonical. Bir sayfa robots.txt ile engellendiyse Google noindex’i göremez; canonical belirtilmişse de Google kendi seçimini yapabilir.

Bu ekranda amaç, sayfanın gerçekten erişilip erişilmediğini ve Google’ın hangi URL’yi asıl sürüm kabul ettiğini anlamaktır. Böylece sorun sayfada mı, sinyalde mi, yoksa kopya sürüm seçiminde mi hemen ayrışır.

Page indexing raporu hangi grubu ayırır​

Page indexing raporu, Google’ın sayfayı neden indekslemediğini grup halinde gösterir. Bloklu sayfalar, noindex sayfalar, duplicate sayfalar ve uygun olmayan varyasyonlar ayrı nedenler olarak görünür. Bu da tek bir “indexlenmedi” durumunun arkasında farklı teknik kökler olabileceğini gösterir.

Raporu okurken şunu hedefleyin: sayfa hiç taranmadı mı, tarandı ama dışarı mı bırakıldı, yoksa Google başka bir sürümü mü seçti? Aynı sorun gibi görünen bu üç durumun çözümü farklıdır.

Hangi durumda hangi düzeltme yapılır​

Sorunu ayırdıktan sonra çözüm de ayrılır. Yanlış araçla yapılan düzeltme, sorunu çözmek yerine yeni bir indeksleme çakışması yaratabilir.

Sayfa indekslenmesin ama taranabilsin istiyorsanız​

Bu durumda doğru araç noindex’tir. Sayfa erişilebilir kalır, Google içeriği görür ve arama sonuçlarından çıkarır. Robots.txt ile bloklamak yerine bu yaklaşım, sayfanın niyetli olarak indeks dışında kalmasını sağlar.

Bu senaryo genelde ince filtre sayfaları, geçici sayfalar veya arama sonuçları için uygun olmayan içerikler için kullanılır. Amaç taramayı tamamen kesmek değil, indekslenmeyi önlemektir.

Aynı içerikli URL’ler varsa​

Burada canonical öne çıkar. Benzer URL’leri tek bir ana sürüme toplamak istiyorsanız canonical sinyalini kullanın; gerekirse sitemap ve dahili bağlantılar da aynı sürümü desteklesin. Google’ın canonical seçimi yine kendi değerlendirmesine bağlıdır, bu yüzden sinyallerin tutarlı olması önemlidir.

Canonical, özellikle parametreli URL’ler, mobil/masaüstü varyasyonları ve aynı içeriğin farklı yollarla erişildiği durumlarda işe yarar. Amaç “saklamak” değil, “hangi sürüm ana sürüm” sorusunu açıklığa kavuşturmaktır.

Tarama bütçesi sorunu varsa​

Eğer problem büyük ölçüde gereksiz URL’lerin çok sık taranmasıysa robots.txt ile bazı alanları engellemek anlamlı olabilir. Ancak bu karar, indeksleme hedefiyle karıştırılmamalıdır. Google’ın belgelerinde robots.txt’nin tarama kontrolü için, noindex’in ise indeks kontrolü için kullanılması gerektiği net biçimde ayrılır.

Bu nedenle doğru sıra şudur: önce hangi URL’lerin gerçekten indekslenmesi gerektiğini belirleyin, sonra tarama yükünü azaltmak için robots.txt’yi kullanın. Tersi sıra çoğu zaman yanlış teşhis üretir.

Tek cümlelik karar özeti​

Sayfa Google’da görünmüyorsa önce erişimi kontrol edin: robots.txt taramayı, noindex indekslemeyi, canonical ise tercih edilen sürümü belirler; çözüm, hangi sinyalin sorunu yarattığına göre seçilir.