Search Console’da İndekslenmeyen Sayfaları Ayırma

Site genelinde indekslenmeyen sayfaları ayırmak için ilk bakacağınız yer Page Indexing raporudur; orada hangi URL’lerin neden dışarıda kaldığını topluca görürsünüz. Tek bir sayfanın durumunu doğrulamak gerektiğinde URL Inspection’a geçin; tarama erişimi veya sunucu tarafı bir engel şüphesi varsa Crawl Stats raporu ile resmi tabloyu tamamlayın.

Bu sırayı doğru kurmak önemli, çünkü aynı sorun gibi görünen şeyler farklı raporlara düşer: bir sayfa robots.txt ile taramadan çıkmış olabilir, noindex ile indeks dışı kalmış olabilir ya da hiç erişilemediği için raporlarda başka bir nedenle görünmeyebilir. Aşağıdaki bölümde bu ayrımı, pratikte hangi işaretin hangi rapora götürdüğünü kısa ve uygulanabilir biçimde ayırıyorum.

İlk bakılacak rapor: Page Indexing​

Page Indexing, sitenizde Google’ın bildiği URL’lerin indeks durumunu topluca gösterir. Buradaki amaç tek tek URL doğrulamak değil, site genelindeki örüntüyü görmektir. Eğer çok sayıda URL burada dışarıda kalıyorsa, sorun tek bir sayfadan ziyade şablon, yönlendirme, erişim veya politika seviyesinde olabilir.

Ne zaman bu rapor yeterlidir?​

Bir URL grubunun neden dışarıda kaldığını anlamak istiyorsanız ilk durak burasıdır. Özellikle benzer sayfalar aynı nedenle dışlanıyorsa, örneğin yinelenenler, yönlendirmeler veya noindex benzeri durumlar, toplu görünüm size daha hızlı yol verir.

Ne zaman tek başına yeterli değildir?​

Sayfaların neden dışarıda kaldığını görseniz bile, bunun gerçek sebebi tarama mı, erişim mi, yoksa indeksleme talimatı mı sorusunun cevabı başka raporda olabilir. Bu noktada URL Inspection ve gerektiğinde Crawl Stats devreye girer.

İkinci adım: URL Inspection ile tek sayfayı doğrulamak​

URL Inspection, tek bir sayfanın Google tarafından nasıl görüldüğünü anlamak için kullanılır. Bu araç, sayfanın son tarama bilgisini, canlı test sonucunu ve erişim engellerini görmek için en doğru yerdir. Site geneli sorununu çözmek için değil, şüpheli sayfayı tek tek doğrulamak için kullanın.

Hangi alanlara bakmalısınız?​

Crawl allowed, Page fetch ve Indexing allowed alanları birlikte okunmalıdır. Crawl allowed hayırsa Google sayfaya ulaşamamış olabilir. Page fetch başarısızsa erişim veya sunucu yanıtı sorunu vardır. Indexing allowed hayırsa noindex ya da benzeri bir talimat devrededir.

Bu sonuçları nasıl ayırırsınız?​

Crawl allowed ile indexing allowed aynı şey değildir. robots.txt taramayı engeller; noindex ise sayfanın taranmasına izin verip indekslenmesini engelleyebilir. Bu ayrım, özellikle “sayfa neden görünmüyor” sorusunda hatayı yanlış yerde aramamanız için önemlidir.

Üçüncü adım: Crawl Stats ile site erişimini okumak​

Crawl Stats, Google’ın sitenizi tararken ne gördüğünü ve tarama sırasında ne tür yanıtlar aldığını gösterir. Site genelinde indeks düşüşü, sayfa sayısında ani artış veya erişim kaynaklı sorun şüphesinde bu rapor yararlıdır. Özellikle sunucu yanıtları, erişim dengesizliği veya tarama yükü ile ilgili sorularda Page Indexing’i tamamlar.

Bu rapor neyi açıklar?​

Bir URL’nin tek başına neden dışarıda kaldığını değil, tarama tarafında bir altyapı eğilimi olup olmadığını gösterir. Eğer çok sayıda sayfa erişim sorununa benzer davranıyorsa, problem sayfa içeriğinden önce sunucu, hız, zaman aşımı veya bloklama katmanında olabilir.

robots.txt ve noindex’i doğru yere koymak​

robots.txt, taramayı kontrol etmek içindir; indekslemeyi engellemenin asıl aracı değildir. noindex ise sayfanın taranmasına izin verip arama sonuçlarında görünmesini istemediğiniz durumda kullanılır. Bu yüzden “Google sayfayı görmüyor” şikâyetinde önce hangi davranışın engellendiğini netleştirmek gerekir.

Yanlış yorumlanan iki durum​

robots.txt ile engellenen bir sayfa, her zaman noindex ile engellenmiş gibi okunmamalıdır. Tersine, noindex verilen bir sayfa robots.txt ile ayrıca kapatılmışsa Google etiketi göremeyebilir ve teşhis zorlaşır. Bu yüzden önce erişim, sonra indeksleme talimatı değerlendirilmelidir.

Pratik okuma sırası​

Site genelinde sorun gördüğünüzde önce Page Indexing raporunda hangi grupların dışarıda kaldığını anlayın, sonra gerekiyorsa URL Inspection ile kritik sayfaları doğrulayın, en son Crawl Stats ile tarama tarafında bir altyapı izi var mı bakın. Bu sıra, aynı soruyu farklı raporlardan tekrar okumak yerine her raporu kendi işine kullanmanızı sağlar.

Kısa karar tablosu​

Eğer rapor site genelinde çok sayıda eksik URL gösteriyorsa, sorun çoğu zaman toplu yapıdadır. Eğer tek bir kritik URL görünmüyorsa, URL Inspection daha uygundur. Eğer sorun yalnızca tarama yoğunluğu, erişim yanıtı veya sunucu davranışı ile ilişkilendirilirse, Crawl Stats işi netleştirir.