Tarama, hem büyük hem de küçük her web sitesi için gereklidir.
İçeriğiniz taranmıyorsa Google platformlarında görünürlük elde etme şansınız yoktur.
Nasıl yapılacağı hakkında konuşalım taramayı optimize et içeriğinize hak ettiği teşhiri vermek için.
SEO’da Tarama Nedir?
SEO bağlamında tarama, arama motoru botlarının (web tarayıcıları veya örümcekler olarak da bilinir) sistematik olarak bir web sitesindeki içeriği keşfettiği süreçtir.
Bu, botların erişebileceği metin, resim, video veya diğer dosya türleri olabilir. Biçimi ne olursa olsun, içerik yalnızca bağlantılar aracılığıyla bulunur.
Web Taraması Nasıl Çalışır?
Bir web gezgini, URL’leri keşfederek ve sayfa içeriğini indirerek çalışır.
Bu işlem sırasında içeriği arama motoru dizinine aktarabilir ve diğer web sayfalarına bağlantılar çıkarabilirler.
Bulunan bu bağlantılar farklı kategorilere ayrılacaktır:
- Yeni URL’ler arama motoru tarafından bilinmeyen
- Tarama konusunda rehberlik sağlamayan bilinen URL’ler sayfanın içeriğinde herhangi bir değişiklik yapılıp yapılmadığını ve bu nedenle arama motoru dizininin güncellenmesi gerektiğini belirlemek için periyodik olarak tekrar ziyaret edilecektir.
- Güncellenen bilinen URL’ler ve net rehberlik verin. XML site haritası, son değiştirilme tarihi, zaman damgası aracılığıyla yeniden taranmalı ve yeniden dizine eklenmelidir.
- Güncellenmemiş bilinen URL’ler ve net rehberlik verin. HTTP 304 Not Modified yanıt başlığı gibi yeniden taranmamalı veya yeniden dizine eklenmemelidir.
- Erişilemeyen URL’ler takip edilemeyen veya takip edilmemesi gereken, örneğin bir giriş formunun arkasındakiler veya “nofollow” robots etiketi tarafından engellenen bağlantılar.
- İzin verilmeyen URL’ler arama motoru botlarının, örneğin robots.txt dosyası tarafından engellenenlerin taranmayacağı.
İzin verilen tüm URL’ler, gelecekte ziyaret edilecek sayfalar listesine eklenecektir. tarama kuyruğu.
Ancak, onlara farklı öncelik seviyeleri verilecektir.
Bu, yalnızca bağlantı sınıflandırmasına değil, her arama motorunun gözünde her sayfanın göreceli önemini belirleyen bir dizi başka faktöre de bağlıdır.
En popüler arama motorları neyi ne zaman tarayacaklarını belirlemek için belirli algoritmalar kullanan kendi botları vardır. Bu, herkesin aynı şekilde taramadığı anlamına gelir.
Googlebot, Bingbot, DuckDuckBot, Yandex Bot veya Yahoo Slurp’tan farklı davranır.
Sitenizin Taranabilmesi Neden Önemli?
Bir sitedeki bir sayfa taranmazsa indekslenme olasılığı çok düşük olduğundan arama sonuçlarında sıralanmayacaktır.
Ancak emeklemenin kritik olmasının nedenleri çok daha derinlere iniyor.
Zaman sınırlı içerik için hızlı tarama çok önemlidir.
Çoğu zaman, hızlı bir şekilde taranmaz ve görünürlük sağlanmazsa, kullanıcılar için ilgisiz hale gelir.
Örneğin, izleyiciler geçen haftaki son dakika haberleriyle, geçmişte kalan bir olayla veya artık tükenen bir ürünle meşgul olmayacak.
Ancak, pazara sunma süresinin kritik olduğu bir sektörde çalışmıyor olsanız bile, hızlı tarama her zaman faydalıdır.
Bir makaleyi yenilediğinizde veya sayfada önemli bir SEO değişikliği yayınladığınızda, Googlebot makaleyi ne kadar hızlı tararsa, optimizasyondan o kadar hızlı yararlanırsınız veya hatanızı görür ve geri dönebilirsiniz.
Googlebot yavaş tarama yapıyorsa, hızlı bir şekilde başarısız olamazsınız.
Taramayı SEO’nun temel taşı olarak düşünün; organik görünürlüğünüz tamamen web sitenizde iyi yapılmasına bağlıdır.
Taramayı Ölçme: Tarama Bütçesine Karşı. Tarama Etkinliği
Sanılanın aksine Google, tarama ve indeksleme internetteki tüm web sitelerinin tüm içeriği.
Bir sayfanın taranması garanti edilmez. Aslında çoğu site, Googlebot tarafından hiç taranmamış sayfaların önemli bir bölümüne sahiptir.
Google Search Console sayfa indeksleme raporunda “Keşfedildi – şu anda indekslenmemiş” hariç tutmasını görüyorsanız, bu sorun sizi etkiliyor demektir.
Ancak bu hariç tutmayı görmüyorsanız, tarama sorununuz olmadığı anlamına gelmez.
Taramayı ölçerken hangi metriklerin anlamlı olduğuna dair yaygın bir yanılgı vardır.
Tarama bütçesi yanılgısı
SEO uzmanları genellikle tarama bütçesi ve Googlebot’un belirli bir web sitesi için belirli bir zaman çerçevesi içinde tarayabileceği ve taramak istediği URL sayısını ifade eder.
Bu kavram, emeklemeyi en üst düzeye çıkarmak için zorlar. Bu, Google Search Console’un tarama isteklerinin toplam sayısını gösteren tarama durumu raporuyla daha da güçlendirilmiştir.
Ancak daha fazla emeklemenin doğası gereği daha iyi olduğu fikri tamamen yanlıştır. Toplam tarama sayısı, gösterişli bir ölçümden başka bir şey değildir.
Günde 10 kat daha fazla tarama yapmak, ilgilendiğiniz içeriğin daha hızlı (yeniden) dizine eklenmesiyle ilişkili olmayabilir. Tek ilişkili olduğu, sunucularınıza daha fazla yük bindirmek ve size daha fazla paraya mal olmaktır.
Odak asla toplam tarama miktarını artırmaya değil, SEO değeriyle sonuçlanan kaliteli taramaya odaklanmalıdır.
Tarama Verimlilik Değeri
Kaliteli tarama, SEO ile ilgili bir sayfada yayınlama veya önemli güncellemeler yapma ile Googlebot’un bir sonraki ziyareti arasındaki süreyi kısaltmak anlamına gelir.
Tarama etkinliğini belirlemek için önerilen yaklaşım, oluşturulan veya güncellenen tarih saat değerini veritabanından çıkarmak ve bunu sunucu günlük dosyalarındaki URL’nin bir sonraki Googlebot taramasının zaman damgasıyla karşılaştırmaktır.
Bu mümkün değilse, XML site haritalarındaki son değiştirilme tarihini kullanarak hesaplamayı düşünebilir ve ilgili URL’leri, son bir tarama durumu döndürene kadar Search Console URL Inspection API ile düzenli aralıklarla sorgulayabilirsiniz.
Yayınlama ve tarama arasındaki zaman gecikmesini ölçerek, tarama optimizasyonlarının gerçek etkisini önemli bir ölçümle ölçebilirsiniz.
Tarama etkinliği düştükçe, SEO ile ilgili yeni veya güncellenmiş içerik daha hızlı Google platformlarında hedef kitlenize gösterilecektir.
Sitenizin tarama etkinliği puanı, Googlebot’un önemli içeriği ziyaret etmesinin çok uzun sürdüğünü gösteriyorsa, taramayı optimize etmek için ne yapabilirsiniz?
Tarama İçin Arama Motoru Desteği
Son birkaç yılda, arama motorlarının ve ortaklarının taramayı iyileştirmeye nasıl odaklandıkları hakkında çok konuşuldu.
Sonuçta, bu onların çıkarına. Daha verimli tarama, yalnızca sonuçlarını güçlendirmek için daha iyi içeriğe erişmelerini sağlamakla kalmaz, aynı zamanda sera gazlarını azaltarak dünyanın ekosistemine de yardımcı olur.
Konuşmanın çoğu, taramayı optimize etmeyi amaçlayan iki API hakkındaydı.
Buradaki fikir, arama motoru örümceklerinin neyin taranacağına karar vermesi yerine, web sitelerinin taramayı tetiklemek için API aracılığıyla ilgili URL’leri doğrudan arama motorlarına gönderebilmesidir.
Teorik olarak, bu yalnızca en yeni içeriğinizin daha hızlı dizine eklenmesini sağlamakla kalmaz, aynı zamanda şu anda arama motorları tarafından iyi desteklenmeyen eski URL’leri etkili bir şekilde kaldırmak için bir yol sunar.
IndexNow’dan Google Dışı Destek
İlk API IndexNow. Bu, Bing, Yandex ve Seznam tarafından desteklenir, ancak daha da önemlisi Google tarafından desteklenmez. Ayrıca, IndexNow’dan yararlanmak için gereken geliştirme çabasını potansiyel olarak azaltan birçok SEO aracına, CRM’ye ve CDN’ye entegre edilmiştir.
Bu, SEO için hızlı bir kazanç gibi görünebilir, ancak dikkatli olun.
Hedef kitlenizin önemli bir bölümü IndexNow tarafından desteklenen arama motorlarını kullanıyor mu? Değilse, botlarından taramaları tetiklemenin değeri sınırlı olabilir.
Ancak daha da önemlisi, IndexNow’a entegre etmenin bu arama motorları için sunucu ağırlığına karşı tarama etkinliği puanı iyileştirmesine ne yaptığını değerlendirin. Maliyetler faydaya değmeyebilir.
İndeksleme API’sından Google Desteği
ikincisi ise Google Dizin Oluşturma API’sı. Google, API’nin yalnızca iş ilanı veya yayın etkinliği işaretlemesi içeren sayfaları taramak için kullanılabileceğini defalarca belirtmiştir. Ve birçoğu bunu test etti ve bu ifadenin yanlış olduğunu kanıtladı.
Uyumlu olmayan URL’leri Google Dizine Ekleme API’sine göndererek, taramada önemli bir artış göreceksiniz. Ancak bu, “tarama bütçesi optimizasyonu”nun ve kararları tarama miktarına dayandırmanın neden yanlış anlaşıldığının mükemmel bir örneğidir.
Çünkü uyumlu olmayan URL’ler için gönderimin dizine ekleme üzerinde hiçbir etkisi yoktur. Ve bunun hakkında düşünmeyi bıraktığınızda, bu çok mantıklı geliyor.
Yalnızca bir URL gönderiyorsunuz. Google, belirtilen yapısal verilere sahip olup olmadığını görmek için sayfayı hızlı bir şekilde tarar.
Eğer öyleyse, indekslemeyi hızlandıracaktır. Değilse, olmaz. Google bunu görmezden gelir.
Bu nedenle, uyumlu olmayan sayfalar için API’yi çağırmak, sunucunuza gereksiz yük eklemekten başka bir işe yaramaz ve geliştirme kaynaklarını hiçbir kazanç sağlamadan israf eder.
Google Search Console İçinde Google Desteği
Bu şekilde gönderilen URL’lerin çoğu taranır ve bir saat içinde dizine ekleme durumları değiştirilir. Ancak 24 saat içinde 10 URL’lik bir kota sınırı vardır, dolayısıyla bu taktikle ilgili bariz sorun ölçektir.
Ancak bu, onu dikkate almamak anlamına gelmez.
Yapabilirsiniz URL’lerin gönderilmesini otomatikleştirin taramayı ve dizine eklemeyi hızlandırmak için kullanıcı eylemlerini taklit eden komut dosyası oluşturmayı bir öncelik olarak görürsünüz.
Son olarak, ‘şu anda dizine eklenmemiş keşfedilen’ hariç tutmalarda ‘Düzeltmeyi doğrula’ düğmesine tıklamanın taramayı tetikleyeceğini uman herkes için, bugüne kadar yaptığım testlerde bu, taramayı hızlandırmak için hiçbir şey yapmadı.
Öyleyse, arama motorları bize önemli ölçüde yardımcı olmayacaksa, kendimize nasıl yardımcı olabiliriz?
Verimli Site Taraması Nasıl Sağlanır?
Tarama etkinliğinde fark yaratabilecek beş taktik vardır.
1. Hızlı, Sağlıklı Bir Sunucu Yanıtı Sağlayın
Yüksek performanslı bir sunucu kritik öneme sahiptir. Googlebot’un yapmak istediği tarama miktarını, sunucu yanıt süresi veya hata verme üzerinde herhangi bir olumsuz etki olmaksızın işleyebilmelidir.
Google Search Console’da site ana bilgisayar durumunuzun yeşil olduğunu, 5xx hatalarının %1’in altında olduğunu ve sunucu yanıt sürelerinin 300 milisaniyenin altında olduğunu kontrol edin.
2. Değersiz İçeriği Kaldırın
Bir web sitesinin içeriğinin önemli bir bölümü düşük kaliteli, güncelliğini yitirmiş veya kopya olduğunda, tarayıcıları yeni veya yakın zamanda güncellenen içeriği ziyaret etmekten alıkoyduğu gibi, indeks şişmesi.
Temizlemeye başlamanın en hızlı yolu, ‘Tarandı – şu anda dizine eklenmemiş’ hariç tutma için Google Arama Konsolu sayfaları raporunu kontrol etmektir.
Sağlanan örnekte, klasör kalıplarını veya diğer sorun sinyallerini arayın. Bulduklarınız için, benzer içeriği 301 yönlendirmesiyle birleştirerek veya uygun şekilde 404 ile içeriği silerek düzeltin.
3. Googlebot’a Neleri Taramayacağını Talimat Edin
rel=canonical bağlantılar ve noindex etiketleri, web sitenizin Google dizinini temiz tutmada etkili olsa da, size tarama maliyeti verir.
Bazen bu gerekli olsa da, öncelikle bu tür sayfaların taranması gerekip gerekmediğini düşünün. Değilse, bir robot.txt dosyasına izin vermeyerek Google’ı tarama aşamasında durdurun.
Canonicals veya noindex etiketlerinden hariç tutulanlar için Google Search Console kapsam raporuna bakarak, tarayıcıyı engellemenin dizin oluşturma talimatları vermekten daha iyi olabileceği durumları bulun.
Ayrıca, Google Search Console’daki ‘Dizine eklendi, site haritasında gönderilmedi’ ve ‘Keşfedildi – şu anda dizine eklenmemiş’ URL örneğini inceleyin. Aşağıdakiler gibi SEO ile ilgili olmayan yolları bulun ve engelleyin:
- Parametre sayfaları?sırala=en eski gibi.
- “Alışveriş sepeti” gibi işlevsel sayfalar.
- Takvim sayfaları tarafından oluşturulanlar gibi sonsuz boşluklar.
- Önemsiz resimler, betikler veya stil dosyaları.
- API URL’leri.
Ayrıca nasıl olduğunu da düşünmelisiniz sayfalandırma stratejisi taramayı etkiliyor.
4. Googlebot’a Neyi Ne Zaman Tarayacağı Konusunda Bilgi Verin
Bir optimize edilmiş XML site haritası, Googlebot’u SEO ile alakalı URL’lere yönlendirmek için etkili bir araçtır.
Optimize edilmiş, minimum gecikmeyle dinamik olarak güncellendiği ve arama motorlarına sayfanın en son ne zaman önemli ölçüde değiştirildiği ve yeniden taranması gerekip gerekmediği konusunda bilgi vermek için son değişiklik tarihini ve saatini içerdiği anlamına gelir.
5. Dahili Bağlantılar Üzerinden Taramayı Destekleyin
Taramanın yalnızca bağlantılar aracılığıyla gerçekleşebileceğini biliyoruz. XML site haritaları, başlamak için harika bir yerdir; harici bağlantılar güçlüdür ancak toplu olarak kaliteli bir şekilde oluşturmak zordur.
Öte yandan dahili bağlantıların ölçeklendirilmesi nispeten kolaydır ve tarama etkinliği üzerinde önemli olumlu etkileri vardır.
Site çapında mobil gezinmeye, içerik haritalarına, hızlı filtrelere ve ilgili içerik bağlantılarına özel dikkat gösterin – hiçbirinin Javascript’e bağımlı olmadığından emin olun.
Web Taramayı Optimize Etme
Umarım aynı fikirdesinizdir: web sitesi taraması SEO için temeldir.
Ve artık optimizasyonları ölçmek için tarama etkinliğinde gerçek bir KPI’ya sahipsiniz – böylece organik performansınızı bir sonraki seviyeye taşıyabilirsiniz.