Google’ın Arama İlişkileri, ‘Search Off The Record’ podcast’inin son bölümünde web sayfası dizine eklemeyle ilgili birkaç soruyu yanıtladı.
Tartışılan konular, Googlebot’un bir sayfanın belirli bölümlerini taramasının nasıl engelleneceği ve Googlebot’un bir siteye erişmesinin nasıl tamamen engelleneceğiydi.
Bu yazıda incelenen soruları Google’dan John Mueller ve Gary Illyes yanıtladı.
Belirli Web Sayfası Bölümlerinden Googlebot’u Engelleme
Müller öyle diyor imkansız Googlebot’un ürün sayfalarındaki “ayrıca satın alınan” alanlar gibi belirli web sayfası bölümlerini taramasının nasıl durdurulacağı sorulduğunda.
Mueller, “Kısa versiyonu, bir HTML sayfasındaki belirli bir bölümün taranmasını engelleyemeyeceğinizdir” dedi.
Sorunla başa çıkmak için iki potansiyel strateji önermeye devam etti ve bunların hiçbirinin ideal çözümler olmadığını vurguladı.
Mueller, metnin bir arama snippet’inde görünmesini önlemek için data-nosnippet HTML özelliğinin kullanılmasını önerdi.
Alternatif olarak, kaynağı robots.txt tarafından engellenen bir iframe veya JavaScript kullanabilirsiniz, ancak kendisi bunun iyi bir fikir olmadığı konusunda uyardı.
Mueller, “Robotlu bir iframe veya JavaScript dosyası kullanmak, tarama ve dizine eklemede teşhis edilmesi ve çözülmesi zor sorunlara neden olabilir” dedi.
Dinleyen herkese, söz konusu içerik birden çok sayfada yeniden kullanılıyorsa bunun düzeltilmesi gereken bir sorun olmadığına dair güvence verdi.
“Googlebot’un bu tür bir kopyayı görmesini engellemeye gerek yok,” diye ekledi.
Googlebot’un Bir Web Sitesine Erişmesini Engelleme
Googlebot’un erişimini engellemeyle ilgili bir soruya yanıt olarak herhangi bir sitenin parçası olan Illyes, takip etmesi kolay bir çözüm sağladı.
Illyes, “En basit yol robots.txt’dir: Googlebot kullanıcı aracısı için bir disallow: / eklerseniz, Googlebot siz bu kuralı orada tuttuğunuz sürece sitenizi kendi haline bırakır,” diye açıkladı Illyes.
Daha sağlam bir çözüm arayanlar için Illyes başka bir yöntem sunuyor:
“Ağa erişimi bile engellemek istiyorsanız, IP aralıklarımızı bir reddetme kuralına yükleyen güvenlik duvarı kuralları oluşturmanız gerekir” dedi.
Google’a bakın resmi belgeler Googlebot’un IP adreslerinin listesi için.
Özetle
Googlebot’un bir HTML sayfasının belirli bölümlerine erişmesini engellemek imkansız olsa da, data-nosnippet niteliğini kullanmak gibi yöntemler kontrol sağlayabilir.
Googlebot’u sitenizden tamamen engellemeyi düşünürken, robots.txt dosyanızdaki basit bir izin vermeme kuralı işinizi görecektir. Ancak, belirli güvenlik duvarı kuralları oluşturmak gibi daha aşırı önlemler de mevcuttur.