Google’da görünmeyen bir sayfayı okurken ilk ayrım şudur: önce tarama engeli var mı, sonra dizine ekleme engeli var mı bakılır. Robots.txt sayfanın taranmasını durdurur; noindex ise taramaya izin verilmiş bir sayfanın dizine alınmasını engeller. URL Denetimi’nde bu iki bilgi ayrı alanlarda görünür, bu yüzden tek satırlık bir uyarı yerine hangi aşamada takıldığını okumak gerekir.
Sorun çoğu zaman şu noktada karışır: sayfa robots.txt ile engelliyse Google noindex’i göremez. Bu nedenle URL Inspection içindeki “Indexing allowed?” alanının “Yes” görünmesi, her zaman sayfanın indekslenebilir olduğu anlamına gelmez. Önce “Crawl allowed?” sonucuna bakmak, sonra Page indexing raporundaki durumla eşleştirmek en güvenli sıradır.
Sorun çoğu zaman şu noktada karışır: sayfa robots.txt ile engelliyse Google noindex’i göremez. Bu nedenle URL Inspection içindeki “Indexing allowed?” alanının “Yes” görünmesi, her zaman sayfanın indekslenebilir olduğu anlamına gelmez. Önce “Crawl allowed?” sonucuna bakmak, sonra Page indexing raporundaki durumla eşleştirmek en güvenli sıradır.
Önce tarama, sonra dizine ekleme
robots.txt neyi çözer, neyi çözmez
robots.txt bir sayfanın arama sonuçlarında görünmesini doğrudan engellemek için değil, taranmasını engellemek için kullanılır. Google’ın kendi belgeleri, görünürlük kontrolü için robots.txt yerine noindex kullanılmasını söyler. Bu ayrım önemlidir; çünkü tarama engeli olan bir sayfada içerik sinyalleri görünmeyebilir ve teşhis eksik kalabilir.- Amaç taramayı durdurmaksa: robots.txt uygundur.
- Amaç sayfayı arama sonuçlarından çıkarmaksa: noindex gerekir.
- İkisini aynı anda kullanırsanız: noindex’in görülmesi zorlaşır, teşhis karışır.
URL Inspection’da hangi satır ne anlatır
URL Inspection aracı, canlı sayfayı test edebilir ve Google’ın en son gördüğü sürüm hakkında bilgi verir. Burada özellikle “Crawl allowed?”, “Page fetch” ve “Indexing allowed?” alanları birlikte okunmalıdır. Google’ın açıklamasına göre robots.txt ile engellenen sayfalarda “Indexing allowed?” alanı yine “Yes” görünebilir; bu, aracın noindex’i göremediği anlamına gelir, engelin olmadığı anlamına gelmez.- Crawl allowed? = Google sayfaya ulaşabiliyor mu?
- Page fetch = Google sayfayı gerçekten alabiliyor mu?
- Indexing allowed? = Sayfada noindex veya benzeri açık bir engel var mı?
Page indexing raporu ile canlı test arasındaki fark
Page indexing raporu, Google’ın sayfayı neden dizine almadığını toplu halde gösterir. URL Inspection ise tek bir sayfaya odaklanır ve hem önbellekteki durumu hem de canlı testi gösterebilir. Bu yüzden raporda görülen hata ile canlı testte görülen durum farklı olabilir; özellikle son değişikliklerden sonra canlı test daha güncel ipucu verir.Pratik okuma sırası
Bir sayfa Google’da görünmüyorsa şu sırayı izlemek en temiz yoldur: önce URL Inspection’da tarama izni var mı bakın, sonra dizine ekleme iznini kontrol edin, ardından Page indexing raporunda aynı URL’nin hangi nedenle dışarıda kaldığını okuyun. Eğer robots.txt engeli varsa önce onu kaldırmadan noindex kontrolünü kesin hükme bağlamayın. Eğer noindex görünüyorsa ve amaç sayfayı indekslemekse, etiketi veya HTTP başlığını kaldırıp canlı testi yeniden çalıştırın.Hangi sonuç ne zaman güvenilir sayılır
Canlı test, mevcut sayfanın bugün nasıl göründüğünü anlamak için daha yararlıdır. Ancak Google’ın indekslenmiş sürümü birkaç saat geriden gelebilir. Bu yüzden tek bir ekranın sonucunu mutlak kabul etmek yerine, canlı test ile rapor sonucunu birlikte değerlendirmek daha doğrudur. Özellikle robots.txt ve noindex birlikte kullanılıyorsa, yanlış çıkarımı en çok bu birlikte okuma önler.| Durum / kontrol | Ne anlama gelir / ne yapılır |
|---|---|
| Crawl allowed? = No | Google sayfaya erişemez; önce robots.txt engelini kaldırmadan noindex doğrulaması beklememek gerekir. |
| Indexing allowed? = No | Sayfa noindex ya da eşdeğer bir engel gönderiyordur; indekslenmesini istiyorsanız bu engeli kaldırın. |
| Crawl allowed? = No, Indexing allowed? = Yes | Bu durum robots.txt’nin noindex’i görünmez kıldığını gösterir; sonuç, sayfanın kesinlikle indekslenmeyeceği anlamına gelmez. |
| Page indexing raporunda URL marked noindex | Google sayfayı taramış ve noindex gördüğü için dizine almamıştır; çözüm, noindex kaynağını bulup kaldırmaktır. |
| robots.txt raporunda Not found | Dosya kısa süreli yok olabilir; Google kontrol etmeyi sürdürür, ancak raporda görünmesi için durumun kalıcılaşması gerekir. |
