Google’da bir sayfanın taranıp indekslenmemesini nasıl ayırırım

Sayfanın neden Google’da görünmediğini ayırt etmek için önce tek bir soruya bakın: Google o URL’yi hiç tarayamadı mı, taradı ama dizine mi almadı, yoksa benzer bir sürümü canonical seçip onu mu gösteriyor? Bu ayrım doğru yapılınca gereksiz robots.txt değişiklikleri, yanlış noindex müdahaleleri ve kopya URL karışıklığı büyük ölçüde azalır.

Bu yazı, robots.txt, noindex, rel="canonical" ve crawl budget sinyallerinin hangi aşamada devreye girdiğini, birbirini nasıl tamamladığını ve Search Console’da hangi işaretle doğrulanacağını sade biçimde açıklıyor.

Tarama ve indeksleme arasındaki farkı doğru okuyun​

Google’da bir URL’nin görünmemesi tek bir nedenden kaynaklanmaz. Aynı sonuç üç farklı aşamada oluşabilir: URL taranamaz, taranır ama indekslenmez ya da indekslenir ama Google başka bir sürümü temsilci seçer. Sorunu çözmek için önce bu üç durumu birbirinden ayırmak gerekir.

robots.txt neyi engeller, neyi engellemez​

robots.txt dosyası, Googlebot’un bir URL’yi isteyip istemeyeceğini belirler. Yani esas etkisi tarama üzerinedir. Bu yüzden robots.txt, bir sayfayı arama sonuçlarından tamamen gizlemenin güvenilir yolu değildir; Google gerek gördüğünde başka sinyallerden sayfanın varlığını anlayabilir.

Bu ayrım pratikte önemlidir. Bir sayfa robots.txt ile engellendiğinde Google o sayfayı rahatça çekemez; fakat sayfanın indekslenmemesi için asıl amaç noindex gibi sayfa düzeyi kurallardır. Robots.txt daha çok istenmeyen tarama yükünü sınırlamak için kullanılır.

noindex ne zaman doğru çözümdür​

noindex, sayfanın indekslenmemesini hedefler. Sayfa taranabilir durumda olabilir ama noindex etiketi varsa Google sonuçlarda göstermemeyi seçebilir. Bu yüzden “sayfa çekiliyor ama sonuçta çıkmasın” durumu için en net araçlardan biridir.

Burada kritik nokta, noindex ile robots.txt’nin aynı işi yapmadığıdır. robots.txt taramayı azaltır; noindex ise indekslemeyi kontrol eder. Yanlış sayfada robots.txt kullanmak, Google’ın noindex sinyalini görmesini de engelleyebilir.

Canonical sinyali ve kopya URL kümeleri​

Bir sayfa görünmüyor gibi olsa da aslında sorun indeksleme eksikliği değil, yanlış URL’nin temsilci seçilmesidir. Benzer içerikli URL’ler bir kümeye alınır ve Google bunlardan birini canonical olarak seçer. Bu yüzden doğru soru bazen “neden indekslenmedi?” değil, “Google neden başka sürümü seçti?” olur.

rel="canonical" neyi çözer​

Canonical etiketi, benzer ya da çoğaltılmış URL’ler arasında tercih edilen sürümü belirtmek için kullanılır. Bu bir emir değil, güçlü bir sinyaldir; Google farklı sinyaller daha kuvvetliyse başka bir URL’yi canonical seçebilir. Bu nedenle canonical, taramayı kapatmak için değil, kopya kümelerini birleştirmek için düşünülmelidir.

Özellikle filtre, sıralama, parametre ve çoklu sürüm üreten yapılarda canonical çok işe yarar. Ama canonical yanlış kullanılırsa, Google’ın doğru sayfayı değil, size göre yanlış olan sürümü temsilci seçmesine yol açabilir.

Google neden taradığı her sayfayı indekslemez​

Tarama, indeksleme garantisi değildir. Google bir URL’yi çekmiş olsa bile, içeriği değerlendirdikten sonra indekslememeye karar verebilir. Bunun nedeni kopya içerik, zayıf içerik, düşük yararlılık sinyalleri veya genel site öncelikleri olabilir.

Bu yüzden yalnızca “Googlebot geldi mi?” sorusuna bakmak yetmez. Sorun tarama katmanında olmayabilir; indeksleme kararı, taramadan sonra ayrı verilir.

Search Console’da neye bakarak karar verilir​

URL Inspection aracı, Google’ın sayfayı nasıl gördüğünü anlamak için ilk duraktır. Burada özellikle iki bilgi önemlidir: Google’ın seçtiği canonical ve URL’nin taranıp taranmadığı ya da indeksleme durumunun ne olduğu.

Hangi işaret hangi sonuca işaret eder​

Bir sayfa robots.txt ile engelleniyorsa, sorun tarama katmanındadır. Sayfa taranıyor ama noindex taşıyorsa, sorun indeksleme katmanındadır. Google farklı bir URL’yi canonical seçiyorsa, sorun kopya kümeleri ve temsilci seçimidir. Bunları ayırmadan yapılan düzeltmeler çoğu zaman yanlış yere müdahale eder.

• robots.txt: Tarama iznini etkiler.
• noindex: İndekslenmeyi hedefler.
• rel="canonical": Tercih edilen sürümü işaret eder.
• crawl budget: Google’ın tarama önceliğini etkiler.

Büyük sitelerde crawl budget neden görünür​

Google, taranan her sayfayı dizine eklemez ve tüm siteleri aynı şekilde taramaz. Büyük sitelerde gereksiz URL çeşitliliği, parametreli kopyalar veya düşük değerli sayfalar tarama kapasitesini boşa harcayabilir. Bu durumda önemli sayfalar daha geç keşfedilebilir veya daha seyrek taranabilir.

Burada çözüm, her şeyi robots.txt ile kapatmak değildir. Önce kopya URL’leri azaltmak, sonra canonical ve site mimarisini düzeltmek, ancak gerçekten gereksiz alanlarda tarama sınırlamak daha sağlıklıdır.

Kısa karar rehberi​

Sorun bir sayfanın hiç isteğe açılmamasıysa robots.txt’ye bakın. Sayfa taranıyor ama sonuçta yer almıyorsa noindex ve içerik değerini inceleyin. Google başka bir adresi seçiyorsa canonical ve kopya URL yapısını kontrol edin. Büyük sitelerde gecikme varsa tarama bütçesi ve site içi tekrar eden adresler önceliklidir.

Bu ayrım yapıldığında teknik SEO daha net hale gelir: önce taramayı, sonra indekslemeyi, en son da temsilci URL seçimini çözersiniz. Yanlış katmana müdahale etmek yerine doğru sinyali düzeltmek, görünürlük sorununu daha hızlı indirger.