- Konu sahibi
- #1
Tarama ve indeksleme aynı işlem değildir: tarama, keşfedilmiş URL’nin içeriğini botun isteyip almasıdır; URL’yi ilk bulma (keşif) bunun öncesindeki ayrı adımdır; indeksleme ise bu içerik değerlendirildikten sonra arama motorunun arama sonuçlarında kullanılmak üzere kendi dizinine eklemesidir. Bir sayfa taranmış olabilir ancak indekslenmeyebilir. İndekslenmiş bir sayfanın görünür sıralaması ise ayrıca arama sorgusuna, kalite değerlendirmesine ve diğer sinyallere bağlıdır.
Arama motoru yeni veya güncellenmiş sayfaları çeşitli yollarla keşfeder. İç bağlantılar, daha önce bilinen URL'ler, XML site haritaları veya dış kaynaklardan gelen bağlantılar bu keşfe yardımcı olabilir. Bot URL'yi ziyaret ettiğinde sunucudan yanıt alır, HTML içeriğini ve uygun kaynakları inceler. Bu aşama taramadır.
Tarama sonrasında içerik teknik ve içerik açısından değerlendirilir. Sayfanın erişilebilir olması, başka bir sayfanın kopyası olmaması, indekslemeyi engelleyen yönergeler içermemesi ve arama sonuçlarına anlamlı katkı sunması gibi unsurlar dikkate alınabilir. Uygun görülen içerik arama motorunun dizinine alınır. Bu da indekslemedir.
Bu iki aşama arasında garanti edilen bir geçiş yoktur.
Örneğin
Ancak sayfada
Aşağıdaki ayrım, teşhis sırasında hangi adımı atmanız gerektiğini gösterir:
Tablodaki durumları birbirine karıştırmamak önemlidir. İndekslenmeyen sayfada önce teknik engel olup olmadığını kontrol edin; her hariç bırakma teknik hata değildir. Google kopya/canonical seçimi veya içerik değerlendirmesiyle de URL’yi ayrı indekslemeyebilir. İndekslenmiş fakat zayıf görünen sayfada ise sorun çoğunlukla tarama değil, içerik ve arama amacı uyumudur.
Normal Googlebot tarama kaydı ile URL Denetleme canlı testini ayırın: canlı test Google-InspectionTool kullanabilir ve başarılı olması URL’nin normal taranıp indekse alındığını göstermez. İndeks durumu için Google’ın kayıtlı URL Denetleme sonucunu kullanın. robots.txt ile engellenmiş URL, içeriği taranmadan başka sinyallerden dizinde yer alabilir; robots engeli noindex yerine kullanılmaz.
“Site haritasına ekledim, kesin indekslenir” düşüncesi: Site haritası URL'nin keşfedilmesini kolaylaştırır; kalite, erişilebilirlik veya indeksleme kararının yerini tutmaz.
Robots.txt ile noindex'i aynı sanmak: Robots.txt taramayı kısıtlamak için kullanılır. Bot sayfayı tarayamıyorsa sayfa içindeki noindex yönergesini de güvenilir biçimde göremeyebilir. Tarama engeli ile indeksleme yönergesini ayrı teşhis edin.
İndeks durumunu sıralama sonucu sanmak: Bir URL'nin dizinde bulunması, her sorguda görünmesini veya belirli bir konum almasını ifade etmez.
Yalnızca ana sayfaya bağlantı vermek: Derin sayfalar güçlü iç bağlantılara sahip değilse keşfedilmeleri ve önemlerinin anlaşılması zorlaşabilir.
İndekslenmek, belirli bir sorguda görünme garantisi değildir. Sayfa sorguyla yeterince eşleşmiyor, daha güçlü rakipler bulunuyor veya sonuç görünümü farklı bir sayfayı öne çıkarıyor olabilir.
Keşfi kolaylaştırmak için doğru iç bağlantılar ve temiz bir site haritası kullanılabilir; ancak indeksleme kararını zorlamak mümkün değildir. Önce erişim, yönerge, kanonik ve içerik sorunlarını düzeltmek gerekir.
Tarama ve indeksleme nasıl çalışır?
Arama motoru yeni veya güncellenmiş sayfaları çeşitli yollarla keşfeder. İç bağlantılar, daha önce bilinen URL'ler, XML site haritaları veya dış kaynaklardan gelen bağlantılar bu keşfe yardımcı olabilir. Bot URL'yi ziyaret ettiğinde sunucudan yanıt alır, HTML içeriğini ve uygun kaynakları inceler. Bu aşama taramadır.
Tarama sonrasında içerik teknik ve içerik açısından değerlendirilir. Sayfanın erişilebilir olması, başka bir sayfanın kopyası olmaması, indekslemeyi engelleyen yönergeler içermemesi ve arama sonuçlarına anlamlı katkı sunması gibi unsurlar dikkate alınabilir. Uygun görülen içerik arama motorunun dizinine alınır. Bu da indekslemedir.
Bu iki aşama arasında garanti edilen bir geçiş yoktur.
200 OK yanıtı alınması yalnızca sayfanın sunucu tarafından başarıyla verildiğini gösterir; tek başına indekslendiği anlamına gelmez.Somut örnek
Örneğin
example.com/kahve-rehberi adresinde yeni bir yazı yayımladınız. Sayfaya ana sayfadan bağlantı verdiniz ve URL'yi site haritasına eklediniz. Bot URL'yi ziyaret edip içeriği aldıysa sayfa taranmıştır.Ancak sayfada
noindex yönergesi varsa veya içerik sitedeki başka bir yazıyla büyük ölçüde aynıysa sayfa taranmasına rağmen indekse alınmayabilir. Sayfa indekse alınmış olsa bile belirli bir aramada ilk sırada, daha geride veya hiç görünür olmayabilir. Bu nedenle “bot sayfayı ziyaret etti” ile “sayfa arama sonuçlarında yer alıyor” ifadeleri aynı durumu anlatmaz.Aşağıdaki ayrım, teşhis sırasında hangi adımı atmanız gerektiğini gösterir:
| Durum | Anlamı | İlk kontrol |
|---|---|---|
| Tarama yok | Arama motoru URL'yi henüz ziyaret etmemiş veya ziyaret edememiş olabilir. | İç bağlantılar, site haritası, sunucu yanıtı ve erişim engelleri |
| Tarama var, indeks yok | URL alınmış ancak dizine eklenmemiş veya eklenmesi uygun görülmemiş olabilir. | noindex, kanonik URL, kopya içerik ve içerik değerini |
| İndeks var, görünürlük zayıf | Sayfa dizindedir ancak hedef sorgularda yeterince görünür değildir. | Arama amacı, içerik kapsamı, başlık ve iç bağlantılar |
Tablodaki durumları birbirine karıştırmamak önemlidir. İndekslenmeyen sayfada önce teknik engel olup olmadığını kontrol edin; her hariç bırakma teknik hata değildir. Google kopya/canonical seçimi veya içerik değerlendirmesiyle de URL’yi ayrı indekslemeyebilir. İndekslenmiş fakat zayıf görünen sayfada ise sorun çoğunlukla tarama değil, içerik ve arama amacı uyumudur.
Uygulanabilir kontrol ve düzeltme adımları
- Sorunlu URL'nin gerçekten yayınlanmış olduğunu ve giriş yapmadan açıldığını kontrol edin. Sayfa yalnızca oturum açmış kullanıcılara görünüyorsa bot içeriği alamayabilir.
- Sunucu yanıtını ve yönlendirmeleri inceleyin. URL, hata yanıtı vermemeli veya alakasız bir adrese yönlenmemelidir.
- Sayfanın HTML kaynakları ve HTTP X-Robots-Tag yanıtında indekslemeyi engelleyen noindex yönergesi bulunup bulunmadığını kontrol edin. Bilerek kullanılmıyorsa kaldırın.
- Kanonik bildirimin başka bir URL'yi gösterip göstermediğini inceleyin. İçeriğin asıl adresi farklıysa arama motoru diğer URL'yi tercih edebilir.
- Sayfaya ilgili ve erişilebilir iç bağlantılar ekleyin. Bağlantı metni, hedef sayfanın konusunu açıkça ifade etsin.
- XML site haritasında yalnızca erişilebilir ve indekslenmesini istediğiniz kanonik URL'leri tutun. Site haritası keşfe yardımcı olur; indeksleme garantisi vermez.
- İçerik kopya veya çok yüzeysel ise sayfayı özgün bilgi sağlayacak biçimde geliştirin. Teknik engel giderildikten sonra URL'nin yeniden değerlendirilmesini isteyin ve sonucu hemen değil, sistemin yeniden işlemesine zaman tanıyarak kontrol edin.
Normal Googlebot tarama kaydı ile URL Denetleme canlı testini ayırın: canlı test Google-InspectionTool kullanabilir ve başarılı olması URL’nin normal taranıp indekse alındığını göstermez. İndeks durumu için Google’ın kayıtlı URL Denetleme sonucunu kullanın. robots.txt ile engellenmiş URL, içeriği taranmadan başka sinyallerden dizinde yer alabilir; robots engeli noindex yerine kullanılmaz.
Sık yapılan hatalar
“Site haritasına ekledim, kesin indekslenir” düşüncesi: Site haritası URL'nin keşfedilmesini kolaylaştırır; kalite, erişilebilirlik veya indeksleme kararının yerini tutmaz.
Robots.txt ile noindex'i aynı sanmak: Robots.txt taramayı kısıtlamak için kullanılır. Bot sayfayı tarayamıyorsa sayfa içindeki noindex yönergesini de güvenilir biçimde göremeyebilir. Tarama engeli ile indeksleme yönergesini ayrı teşhis edin.
İndeks durumunu sıralama sonucu sanmak: Bir URL'nin dizinde bulunması, her sorguda görünmesini veya belirli bir konum almasını ifade etmez.
Yalnızca ana sayfaya bağlantı vermek: Derin sayfalar güçlü iç bağlantılara sahip değilse keşfedilmeleri ve önemlerinin anlaşılması zorlaşabilir.
Kaynaklar
Sık sorulan sorular
İndekslenen sayfa neden arama sonuçlarında görünmüyor?
İndekslenmek, belirli bir sorguda görünme garantisi değildir. Sayfa sorguyla yeterince eşleşmiyor, daha güçlü rakipler bulunuyor veya sonuç görünümü farklı bir sayfayı öne çıkarıyor olabilir.
Bir sayfanın indekslenmesini hızlandırabilir miyim?
Keşfi kolaylaştırmak için doğru iç bağlantılar ve temiz bir site haritası kullanılabilir; ancak indeksleme kararını zorlamak mümkün değildir. Önce erişim, yönerge, kanonik ve içerik sorunlarını düzeltmek gerekir.
