Google’da bir sayfanın taranıp indekslenmemesini nasıl ayırt edersiniz

Google’da bir sayfanın taranıp indekslenmemesi çoğu zaman tek bir nedenden değil, üç ayrı kontrolden birinden kaynaklanır: robots.txt ile tarama engeli, noindex ile dizine almama talimatı ya da canonical ile başka URL’nin seçilmesi. Bu üçü farklı aşamalara etki ettiği için, hangisinin devrede olduğunu ayırmadan yapılan müdahale sorunu çözmeyebilir.

Bu yazı, Google’ın URL Inspection ve Page indexing raporlarında hangi işaretin ne anlama geldiğini, robots.txt ile noindex’in neden aynı şey olmadığını ve canonical seçiminin neden “sayfa görünmüyor” hissi yarattığını açıklıyor. Amaç, önce sorunun tarama mı, indeksleme mi yoksa kanonik seçim mi olduğunu netleştirmek; sonra buna göre doğru düzeltmeyi seçmek.

robots.txt engeli ile noindex farkını nasıl okursunuz​

robots.txt bir tarama kapısıdır; Googlebot’un sayfayı isteyip istemeyeceğini etkiler. noindex ise sayfa görüldükten sonra dizine alınmasını engeller. Bu yüzden robots.txt ile bloklanan bir URL’de Google, sayfadaki noindex etiketini görmeyebilir; yani tarama engeli ile indeks engeli aynı kontrol değildir.

Pratik ayrım şudur: robots.txt, botun sayfaya ulaşmasını kesiyorsa sorun tarama katmanındadır. noindex görünüyorsa sorun tarama değil, indeksleme tercihindedir. Bu ayrım önemlidir; çünkü tarama engelini açmadan noindex etkisini test etmek çoğu zaman mümkün olmaz.

canonical seçimi neden görünürlük kaybı gibi görünür​

Canonical, Google’a hangi sürümün tercih edilmesi gerektiğini söyler. Google farklı bir sürümü canonical olarak seçtiğinde, bu URL taranmış ve hatta indekslenmiş olsa bile arama sonuçlarında gösterilmeyebilir. Yani sayfanın kendisi “yok” değildir; sadece Google başka sürümü esas alıyordur.

Bu yüzden aynı içeriğin parametreli sürümleri, yazıcı sürümleri ya da yakın kopyaları olan sayfalarda önce Google-selected canonical alanına bakmak gerekir. Buradaki amaç, “Google sayfayı görmedi” varsayımına hemen gitmemek ve tercih edilen URL’nin aslında başka bir adres olup olmadığını anlamaktır.

Search Console’da bakılacak sıralama​

URL Inspection, tek bir URL için en hızlı teşhis aracıdır. Önce Crawl allowed, ardından Indexing allowed ve son olarak Google-selected canonical alanına bakmak, hangi aşamada ayrışma olduğunu gösterir. Page indexing raporu ise sorunun tek URL mi yoksa daha geniş bir URL kümesi mi olduğunu anlamaya yardım eder.

Eğer crawl allowed “No” ise öncelik robots.txt kuralıdır. Crawl allowed “Yes” ama indexing istenmiyorsa, noindex ya da benzeri indeks engelleri aranır. Google-selected canonical farklıysa, çözüm çoğu zaman etiket eklemekten çok doğru sürümü işaret etmek ve iç bağlantıları o sürüme yönlendirmektir.

Hangi durumda hangi düzeltme yapılır​

robots.txt engeli varsa önce erişimi açmadan başka etiketi test etmek anlamsızdır. noindex varsa sayfanın dizine girmemesi zaten beklenen davranıştır; burada amaç etiketin kasıtlı olup olmadığını kontrol etmektir. canonical yanlış seçildiyse, aynı içeriğin birden çok sürüm üretip üretmediğine bakmak gerekir.

Bu sırada crawl budget konusu sadece büyük veya sorunlu sitelerde anlam kazanır. Google’ın crawl budget dokümantasyonu, sitemap’in güncel tutulmasını ve Page Indexing raporunun düzenli kontrolünü yeterli başlangıç olarak görür; yani her indeksleme sorunu bütçe sorunu değildir. Önce sinyali ayırmak, sonra müdahale etmek gerekir.

Tek satırda karar vermek yerine üç aşamayı ayırın​

Bir URL’nin görünmemesi çoğu zaman “taranmadı, indekslenmedi, yanlış canonical seçildi” zincirinden bir halkaya takılır. Doğru teşhis, önce Googlebot sayfaya ulaşabiliyor mu sorusunu, sonra dizine alma isteği var mı sorusunu, en son da hangi URL’nin tercih edildiği sorusunu ayrı ayrı yanıtlamaktan geçer.

Bu sırayı koruduğunuzda, robots.txt, noindex ve canonical aynı başlık altında karışmaz; her biri kendi işleviyle okunur ve düzeltme de buna göre yapılır.