Bir sayfanın Google’da görünmemesini çözmek için önce robots.txt, sonra noindex değil; önce tarama izni, sonra sayfa getirme, en son dizine ekleme izni okunur. Bu sıra yanlış kurulursa, sorun olmayan bir şeyi engel sanabilirsiniz.
En sağlıklı yol, Search Console’daki URL Denetimi sonuçlarını canlı testle birlikte yorumlamaktır. robots.txt engeli varsa Google sayfayı tarayamaz; noindex varsa Google sayfayı görebilir ama dizine eklemeyebilir.
Ardından Page fetch sonucuna bakın. Successful değilse sorun, sayfanın sunucudan alınması aşamasındadır. Bu aşama, robots.txt’den farklıdır: tarama izni olsa bile sunucu hatası, erişim engeli veya geçici teknik sorun nedeniyle sayfa okunamayabilir. Böyle bir durumda önce erişim ve yanıt kalitesi düzeltilmelidir.
Son adım Indexing allowed? alanıdır. Bu alan No ise sayfa içindeki noindex etiketi ya da benzeri bir yönerge dizine eklenmeyi engelliyor demektir. Google’ın resmi belgeleri noindex’in taramayı değil, dizine eklemeyi engellediğini açık biçimde ayırır. Bu yüzden robots.txt ve noindex aynı şey değildir; biri okuma kapısı, diğeri dizine alma iznidir.
Bu durumda Google sayfayı tarayabilir ve noindex’i görebilir. Sonuçta sayfa görünür olmaktan çıkabilir ya da dizine alınmayabilir. Burada yapılacak iş, gerçekten görünmemesini istiyorsanız noindex’i korumak; görünmesini istiyorsanız etiketi kaldırıp yeniden denetlemektir.
2. robots.txt kapalı, noindex de var
Bu durumda Google’ın noindex’i görmesi zorlaşır. Belgelerde, robots.txt engeli varsa Google’ın noindex’i okuyamayabileceği açıkça belirtiliyor. Dolayısıyla “robots.txt’yi kapattım, neden hâlâ görünmüyor?” sorusunda sıra bozulmuş olabilir; önce tarama izninin, sonra dizine ekleme izninin kontrol edilmesi gerekir.
3. Tarama başarılı ama dizine ekleme kapalı
Burada sorun çoğu zaman robots.txt değildir. Page fetch başarılıysa ama indexing allowed no ise, sorun sayfanın kendi yönergesindedir. Bu durumda canonical, noindex veya başka bir içerik yönergesi değerlendirilir; robots.txt ile karıştırmamak gerekir.
Bu farkı pratikte şöyle okuyun: canlı test temiz, ama indeks görünümü eskiyse sorun çözülmüş olabilir ve yalnızca yeniden tarama bekleniyordur. Canlı test de sorun gösteriyorsa, önce erişim veya yönerge seviyesindeki engeli düzeltmek gerekir.
Bu akış, tek bir ekran sonucunu fazla yorumlamayı engeller. Sayfa görünmüyorsa önce “Google sayfaya ulaşabiliyor mu?” sorusunu, sonra “Google sayfayı görüyor mu?” sorusunu, en son “Google dizine eklemeli mi?” sorusunu yanıtlamak gerekir.
En sağlıklı yol, Search Console’daki URL Denetimi sonuçlarını canlı testle birlikte yorumlamaktır. robots.txt engeli varsa Google sayfayı tarayamaz; noindex varsa Google sayfayı görebilir ama dizine eklemeyebilir.
Doğru Okuma Sırası
Önce URL Denetimi’nde Crawl allowed? alanına bakın. Bu alan No ise asıl konu tarama iznidir; Google sayfanın içeriğini okuyamadığı için noindex’i de değerlendiremeyebilir. Google’ın yardım dokümanları bu durumda Indexing allowed alanının yanıltıcı biçimde Yes görünebileceğini söyler; yani robots.txt engeli varken noindex sonucu tek başına belirleyici değildir.Ardından Page fetch sonucuna bakın. Successful değilse sorun, sayfanın sunucudan alınması aşamasındadır. Bu aşama, robots.txt’den farklıdır: tarama izni olsa bile sunucu hatası, erişim engeli veya geçici teknik sorun nedeniyle sayfa okunamayabilir. Böyle bir durumda önce erişim ve yanıt kalitesi düzeltilmelidir.
Son adım Indexing allowed? alanıdır. Bu alan No ise sayfa içindeki noindex etiketi ya da benzeri bir yönerge dizine eklenmeyi engelliyor demektir. Google’ın resmi belgeleri noindex’in taramayı değil, dizine eklemeyi engellediğini açık biçimde ayırır. Bu yüzden robots.txt ve noindex aynı şey değildir; biri okuma kapısı, diğeri dizine alma iznidir.
Yanlış Yorumlanan Üç Durum
1. robots.txt açık, noindex varBu durumda Google sayfayı tarayabilir ve noindex’i görebilir. Sonuçta sayfa görünür olmaktan çıkabilir ya da dizine alınmayabilir. Burada yapılacak iş, gerçekten görünmemesini istiyorsanız noindex’i korumak; görünmesini istiyorsanız etiketi kaldırıp yeniden denetlemektir.
2. robots.txt kapalı, noindex de var
Bu durumda Google’ın noindex’i görmesi zorlaşır. Belgelerde, robots.txt engeli varsa Google’ın noindex’i okuyamayabileceği açıkça belirtiliyor. Dolayısıyla “robots.txt’yi kapattım, neden hâlâ görünmüyor?” sorusunda sıra bozulmuş olabilir; önce tarama izninin, sonra dizine ekleme izninin kontrol edilmesi gerekir.
3. Tarama başarılı ama dizine ekleme kapalı
Burada sorun çoğu zaman robots.txt değildir. Page fetch başarılıysa ama indexing allowed no ise, sorun sayfanın kendi yönergesindedir. Bu durumda canonical, noindex veya başka bir içerik yönergesi değerlendirilir; robots.txt ile karıştırmamak gerekir.
Canlı Test Neyi Değiştirir
URL Denetimi’nde eski tarama kaydı ile Test live URL farklı sonuç verebilir. Google, canlı testin mevcut durumu gösterdiğini; kayıtlı indeks bilgisinin ise bir önceki taramaya dayanabileceğini belirtir. Bu nedenle “şu an düzelttim ama ekranda hâlâ eski sonuç var” durumu normaldir.Bu farkı pratikte şöyle okuyun: canlı test temiz, ama indeks görünümü eskiyse sorun çözülmüş olabilir ve yalnızca yeniden tarama bekleniyordur. Canlı test de sorun gösteriyorsa, önce erişim veya yönerge seviyesindeki engeli düzeltmek gerekir.
Kısa Karar Kuralı
- Crawl allowed No ise önce robots.txt kontrol edilir.
- Page fetch başarısızsa erişim veya sunucu sorunu aranır.
- Indexing allowed No ise noindex veya benzeri yönerge aranır.
- Canlı test ile kayıtlı sonuç farklıysa eski tarama verisini dikkate alın.
- robots.txt varken noindex yorumuna güvenmeyin; Google o etiketi görmemiş olabilir.
Bu akış, tek bir ekran sonucunu fazla yorumlamayı engeller. Sayfa görünmüyorsa önce “Google sayfaya ulaşabiliyor mu?” sorusunu, sonra “Google sayfayı görüyor mu?” sorusunu, en son “Google dizine eklemeli mi?” sorusunu yanıtlamak gerekir.
| Kontrol | Ne anlama gelir / ne yapmalısınız |
|---|---|
| robots.txt engeli var mı | Önce Crawl allowed satırına bakın; No ise Google sayfayı tarayamaz, bu yüzden noindex’i okuyamaz. |
| Page fetch başarılı mı | Tarama izni olsa bile fetch başarısızsa sorun erişim, sunucu veya içerik yanıtındadır. |
| Indexing allowed no mu | No ise sayfada noindex ya da benzeri bir yönerge vardır; bu durum dizine girmeyi engeller. |
| Canlı test ile sonuç tutarlı mı | Test live URL ile mevcut durumu kontrol edin; eski tarama sonucu ile canlı durum farklı olabilir. |
| robots.txt ile noindex birlikte mi | robots.txt önce gelir; engel varsa noindex görünmeyebilir, bu yüzden tek başına noindex sonucu çıkarmayın. |
