Google’da bir sayfanın taranması, dizine eklenmesi ve sonuçlarda görünmesi aynı şey değildir. robots.txt, noindex, canonical ve URL Inspection birlikte okunmadığında doğru sandığınız ayar yanlış sonucu doğurabilir.
En güvenli yol, önce Googlebot’un sayfaya erişimini, sonra indeks kararını, en son da tercih edilen URL ve raporlardaki durumu kontrol etmektir. Aşağıdaki bölümde bu sinyallerin her birinin neyi değiştirdiğini ve hangisinin hangisinin yerine geçmediğini ayırıyorum.
Tarama, Googlebot’un sayfaya ulaşabilmesidir. İndeksleme, Google’ın içeriği arama dizinine almasıdır. Görünürlük ise sonuçta hangi URL’nin, hangi başlıkla ve hangi biçimde sunulduğudur. Bu üç aşamayı ayırmadan yapılan müdahale, özellikle robots.txt ve noindex birlikte kullanıldığında kafa karışıklığı yaratır.
Bu yüzden yalnızca robots.txt ile kapattığınız bir sayfa, bazı durumlarda URL olarak yine dizinde görünebilir; içerik alınmadan, sınırlı bilgiyle. Eğer hedefiniz sayfanın arama sonuçlarında hiç görünmemesi ise noindex veya erişim kontrolü gibi başka yöntemlere bakmanız gerekir.
Buradaki pratik ayrım şudur: Sayfayı Googlebot’un görmesini istemiyorsanız erişim engeli veya robots.txt tarafı; sayfanın görülüp sonuçlara girmemesini istemiyorsanız noindex tarafı devreye girer. İkisini karıştırmak, özellikle teknik SEO sorunlarında gereksiz teşhis uzatır.
Bu ayrım önemlidir çünkü canonical, “bu sürüm esas alınsın” derken noindex, “bu sayfa sonuçlarda görünmesin” der. Aynı anda aynı problemi çözmezler. Kopya URL’ler, filtre sayfaları veya parametreli adreslerde asıl hedefiniz neyse araç seçimi ona göre yapılmalıdır.
Search Console raporları, özellikle sayfa dizine ekleme ve crawl hataları tarafında, hangi URL’lerin sorun yaşadığını anlamak için yararlıdır. Büyük sitelerde crawl budget konusu da önem kazanır; Google’ın rehberinde, robots.txt’nin geçici crawl budget yeniden dağıtımı için sık sık değiştirilmesi önerilmez.
Burada kritik nokta, bir sinyali diğerinin yerine koymamaktır. Örneğin robots.txt ile engellenen bir sayfada noindex etkili şekilde okunmayabilir; canonical ise taranabilen ve anlaşılabilen bir sayfa yapısında daha anlamlıdır. Bu yüzden tanı koyarken önce erişim, sonra indeks, sonra tercih edilen sürüm sırası izlenmelidir.
Yapılandırılmış veri de benzer biçimde, sayfanın ne hakkında olduğunu anlamaya yardım eder ve zengin sonuçlara uygunluğu etkileyebilir. Fakat Google’ın yönergeleri, yanlış ya da aldatıcı yapılandırılmış verinin zengin sonuç uygunluğunu bozabileceğini ve erişim engelleriyle birlikte kullanılmaması gerektiğini belirtir. Yani teknik sağlık, indeksleme kontrolü ve şema işaretleme aynı paketin parçalarıdır ama aynı amaç için kullanılmazlar.
Son kontrol olarak URL Inspection ile mevcut Google görünümünü doğrulayın; ardından gerekiyorsa Search Console raporlarında hata, hariç bırakılma veya crawl problemlerini inceleyin. Böylece sayfayı kapatmak, görünmez kılmak ya da tekilleştirmek arasında doğru aracı seçmiş olursunuz.
En güvenli yol, önce Googlebot’un sayfaya erişimini, sonra indeks kararını, en son da tercih edilen URL ve raporlardaki durumu kontrol etmektir. Aşağıdaki bölümde bu sinyallerin her birinin neyi değiştirdiğini ve hangisinin hangisinin yerine geçmediğini ayırıyorum.
Tarama, indeksleme ve görünürlük neden ayrıdır?
Google’ın dokümanları, crawl, index ve serving aşamalarını aynı şey gibi ele almamayı açıkça önerir. Bir sayfa taranabilir ama indekslenmeyebilir; indekslenmiş olsa bile arama sonucunda beklediğiniz biçimde görünmeyebilir. Bu yüzden tek bir ayarla tüm problemi çözdüğünü varsaymak çoğu zaman yanlıştır.Tarama, Googlebot’un sayfaya ulaşabilmesidir. İndeksleme, Google’ın içeriği arama dizinine almasıdır. Görünürlük ise sonuçta hangi URL’nin, hangi başlıkla ve hangi biçimde sunulduğudur. Bu üç aşamayı ayırmadan yapılan müdahale, özellikle robots.txt ve noindex birlikte kullanıldığında kafa karışıklığı yaratır.
robots.txt neyi değiştirir?
robots.txt, Googlebot’un belirli URL yollarını taramasını engeller. Ancak bu, indeksleme için doğrudan bir kapatma düğmesi değildir. Google’ın resmi rehberinde de robots.txt’nin indekslemeyi önleme aracı olarak kullanılmaması gerektiği vurgulanır.Bu yüzden yalnızca robots.txt ile kapattığınız bir sayfa, bazı durumlarda URL olarak yine dizinde görünebilir; içerik alınmadan, sınırlı bilgiyle. Eğer hedefiniz sayfanın arama sonuçlarında hiç görünmemesi ise noindex veya erişim kontrolü gibi başka yöntemlere bakmanız gerekir.
noindex neyi çözer?
noindex, Google’a içeriği dizine eklememesini söyler. Yani amaç, sayfanın arama sonuçlarında yer almamasıdır. Google’ın resmi belgelerinde noindex’in robots.txt içinde tanımlanmasının desteklenmediği açıkça belirtilir; bu, iki sinyalin farklı iş gördüğünü gösterir.Buradaki pratik ayrım şudur: Sayfayı Googlebot’un görmesini istemiyorsanız erişim engeli veya robots.txt tarafı; sayfanın görülüp sonuçlara girmemesini istemiyorsanız noindex tarafı devreye girer. İkisini karıştırmak, özellikle teknik SEO sorunlarında gereksiz teşhis uzatır.
Canonical ne zaman doğru araçtır?
Benzer veya kopya içeriklerde Google’ın tercih etmesini istediğiniz URL’yi belirtmek için rel=canonical kullanılır. Google, kopya sayfaları tek bir ana sürüm altında birleştirmede canonical işaretlemeyi tercih edilen çözüm olarak sunar; noindex bu amaç için doğru araç değildir.Bu ayrım önemlidir çünkü canonical, “bu sürüm esas alınsın” derken noindex, “bu sayfa sonuçlarda görünmesin” der. Aynı anda aynı problemi çözmezler. Kopya URL’ler, filtre sayfaları veya parametreli adreslerde asıl hedefiniz neyse araç seçimi ona göre yapılmalıdır.
| Sinyal | Ne işe yarar |
|---|---|
| robots.txt | Googlebot’un taramasını engeller; tek başına sayfayı dizinden kaldırma aracı değildir. |
| noindex | Sayfanın arama sonuçlarında görünmesini engeller; tarama ve erişim davranışından ayrı düşünülür. |
| rel=canonical | Benzer/kopya URL’lerde tercih edilen sürümü işaretler; noindex yerine birleştirme çözümüdür. |
| URL Inspection | Google’ın URL’yi nasıl gördüğünü ve mevcut indeks durumunu kontrol etmek için kullanılır. |
| Crawl budget | Özellikle büyük sitelerde önemlidir; sık robots.txt değişikliğiyle geçici yeniden dağıtım önerilmez. |
Durumu nasıl doğrulamalısınız?
Google Search Console’daki URL Inspection aracı, bir URL’nin Google’daki durumunu kontrol etmek için kullanılır. Resmi API ve dokümantasyon, bu kontrolün mevcut indeks sürümüne dayanabileceğini gösterir; yani gördüğünüz sonuç, sayfanın o anki durumunu anlamaya yarar ama tek başına tüm geçmişi açıklamaz.Search Console raporları, özellikle sayfa dizine ekleme ve crawl hataları tarafında, hangi URL’lerin sorun yaşadığını anlamak için yararlıdır. Büyük sitelerde crawl budget konusu da önem kazanır; Google’ın rehberinde, robots.txt’nin geçici crawl budget yeniden dağıtımı için sık sık değiştirilmesi önerilmez.
Hangi işarette hangi karar verilir?
Eğer amaç indeks dışına çıkarmaksa noindex; eğer amaç kopyaları tek URL’de toplamaksa canonical; eğer amaç belirli yolu hiç taratmamaksa robots.txt düşünülür. URL Inspection ise bu kararların sahada neye dönüştüğünü kontrol etmek içindir.Burada kritik nokta, bir sinyali diğerinin yerine koymamaktır. Örneğin robots.txt ile engellenen bir sayfada noindex etkili şekilde okunmayabilir; canonical ise taranabilen ve anlaşılabilen bir sayfa yapısında daha anlamlıdır. Bu yüzden tanı koyarken önce erişim, sonra indeks, sonra tercih edilen sürüm sırası izlenmelidir.
Hız, yapılandırılmış veri ve taranabilirlik ilişkisi
Core Web Vitals, sayfa deneyiminin bir parçasıdır ve Google’ın sıralama sistemleri tarafından kullanılır. Ancak Google, iyi Core Web Vitals skorlarının tek başına üst sıralama garantisi vermediğini açıkça söyler. Bu nedenle hız optimizasyonu, indeks sorununu çözmez; sadece sayfanın genel performans ve kullanıcı deneyimi tarafını güçlendirir.Yapılandırılmış veri de benzer biçimde, sayfanın ne hakkında olduğunu anlamaya yardım eder ve zengin sonuçlara uygunluğu etkileyebilir. Fakat Google’ın yönergeleri, yanlış ya da aldatıcı yapılandırılmış verinin zengin sonuç uygunluğunu bozabileceğini ve erişim engelleriyle birlikte kullanılmaması gerektiğini belirtir. Yani teknik sağlık, indeksleme kontrolü ve şema işaretleme aynı paketin parçalarıdır ama aynı amaç için kullanılmazlar.
Pratik karar sırası
Önce sayfanın gerçekten taranabilir olup olmadığını, sonra indekslenmesi istenip istenmediğini, sonra da hangi URL’nin tercih edilmesi gerektiğini sorun. Bu sırayı koruduğunuzda robots.txt, noindex ve canonical arasında daha az çelişki oluşur.Son kontrol olarak URL Inspection ile mevcut Google görünümünü doğrulayın; ardından gerekiyorsa Search Console raporlarında hata, hariç bırakılma veya crawl problemlerini inceleyin. Böylece sayfayı kapatmak, görünmez kılmak ya da tekilleştirmek arasında doğru aracı seçmiş olursunuz.
