Yeni içeriğinizin dizine eklenmesini bekleyemiyor musunuz?
Tahmin etmenin neden bu kadar zor olduğunu öğrenin indeksleme ne kadar sürebilir ve işleri hızlandırmak için yapabilecekleriniz.
İndeksleme, web sitenizden bilgi indirme, kategorilere ayırma ve bir veritabanında saklama işlemidir. Bu veritabanı – Google dizini – Google Arama aracılığıyla bulabileceğiniz tüm bilgilerin kaynağıdır.
Dizine dahil olmayan sayfalar, belirli bir sorguyla ne kadar iyi eşleşirse eşleşsin, arama sonuçlarında görünemez.
Yakın zamanda blogunuza yeni bir sayfa eklediğinizi varsayalım. Yeni gönderinizde, size çok sayıda yeni trafik sağlayacağını umarak trend olan bir konuyu tartışıyorsunuz.
Ancak sayfanın Google Arama’da nasıl olduğunu görmeden önce dizine eklenmesini beklemeniz gerekir.
Peki bu süreç tam olarak ne kadar sürüyor? Dizine ekleme eksikliğinin sitenizdeki teknik sorunlara işaret edebileceğinden ne zaman endişelenmeye başlamalısınız?
Hadi araştıralım!
İndeksleme Ne Kadar Sürer? Uzmanların En İyi Tahminleri
Google dizini şunları içerir: yüz milyarlarca web sayfası ve 100 milyon gigabayttan fazla bellek kaplar.
Bunlara ek olarak, Google, bir web sitesindeki kaç sayfanın dizine eklenebileceğini sınırlamaz. Bazı sayfaların indeksleme kuyruğunda önceliği olabilirken, sayfaların genellikle indeksleme için rekabet etmesi gerekmez.
Bu devasa veri tabanında bir küçük sayfaya daha yer olmalı, değil mi? Blog girişiniz için endişelenmenize gerek yok mu? Ne yazık ki, zorunda kalabilirsiniz.
Google itiraf ediyor tarayıcıları tarafından işlenen her sayfa dizine eklenmez.
Ocak 2021’de Google Arama Avukatı John Mueller konuyu ayrıntılı bir şekilde açıklayarak şunları açıkladı: Google’ın büyük bir web sitesinin tüm sayfalarını dizine eklememesi oldukça normaldir..
Google için zorluğun, arama motoru kullanıcıları için yararlı olup olmayacağını tahmin etmekle mümkün olduğunca fazla içeriği dizine ekleme isteğini dengelemeye çalışmak olduğunu açıkladı.
Bu nedenle, çoğu durumda belirli bir içeriği dizine eklememek Google’ın stratejik seçimidir.
Google, dizininin şu sayfaları içermesini istemiyor: düşük kaliteli, yinelenen içerik, veya kullanıcılar tarafından aranması muhtemel olmayan sayfalar. Spam’i arama sonuçlarından uzak tutmanın en iyi yolu, onu dizine eklememektir.
Ancak blog yazılarınızı değerli ve faydalı tuttuğunuz sürece, dizine ekleniyorlar, değil mi?
Cevap karmaşık.
Çalıştığım bir şirket olan Onely’de indeksleme uzmanı olan Tomek Rudzki, ortalama olarak şunu hesapladı: %16 popüler web sitelerindeki değerli ve dizine eklenebilir sayfaların çoğu asla dizine eklenmez.
Sayfanızın Dizine Alınacağının Bir Garantisi Var mı?
Bu makalenin başlığından da tahmin edebileceğiniz gibi, bu indeksleme sorusunun kesin bir cevabı yoktur.
Blog yayınınızın dizine ekleneceği gün kendinize bir takvim hatırlatıcısı ayarlayamazsınız.
Ancak birçok kişi daha önce aynı soruyu sorarak Google çalışanlarını ve deneyimli SEO uzmanlarını bazı ipuçları vermeye çağırdı.
John Mueller diyor birkaç saatten birkaç haftaya kadar sürebilir. Bir sayfanın indekslenmesi için. En iyi içeriğin yaklaşık bir hafta içinde alınıp dizine eklendiğinden şüpheleniyor.
Rudzki tarafından yürütülen araştırma, ortalama olarak, %83 sayfa sayısı yayınlandığı ilk hafta içinde indekslenir.
Bazı sayfaların dizine eklenmesi için sekiz haftaya kadar beklemesi gerekir. Tabii ki, bu yalnızca sonunda dizine eklenen sayfalar için geçerlidir.
Tarama Talebi ve Tarama Bütçesi
Blogunuzdaki yeni bir sayfanın keşfedilmesi ve dizine eklenmesi için Googlebot’un blogu yeniden taraması gerekir.
Googlebot’un web sitenizi ne sıklıkta yeniden taradığı kesinlikle yeni sayfanızın ne kadar hızlı dizine ekleneceğini etkiler ve bu, içeriğin doğasına ve güncellenme sıklığına bağlıdır.
Çok sık yeni içerik yayınlayan haber sitelerinin sık sık yeniden taranması gerekir. Tarama talebi yüksek siteler olduğunu söyleyebiliriz.
Düşük tarama talepli bir siteye örnek olarak, içeriğinin çok sık güncellenmesi olası olmadığı için demirciliğin tarihiyle ilgili bir site verilebilir.
Google otomatik olarak belirler sitenin düşük veya yüksek tarama talebi olup olmadığı. İlk tarama sırasında, web sitesinin ne hakkında olduğunu ve en son ne zaman güncellendiğini kontrol eder.
Siteyi aşağı yukarı tarama kararının içeriğin kalitesiyle hiçbir ilgisi yoktur – belirleyici faktör, tahmini güncelleme sıklığıdır.
İkinci önemli faktör ise, tarama hızı. Googlebot’un sunucunuzu fazla zorlamadan yapabileceği isteklerin sayısıdır.
Blogunuzu düşük bant genişliğine sahip bir sunucuda barındırırsanız ve Googlebot, sunucunun yavaşladığını fark ederse, tarama hızını ayarlayacak ve azaltacaktır.
Öte yandan, site hızlı yanıt verirse sınır yükselir ve Googlebot daha fazla URL tarayabilir.
Sayfanız Dizine Eklenmeden Önce Neler Olması Gerekiyor?
İndeksleme zaman aldığından, bir de merak edilebilir – bu zaman tam olarak nasıl harcanıyor?
Web sitenizdeki bilgiler nasıl sınıflandırılıyor ve Google dizinine dahil ediliyor?
İndekslemeden önce gerçekleşmesi gereken olayları tartışalım.
İçerik Keşfi
Yeni bir blog girişi yayınladığınız örneğe geri dönelim. Googlebot’un dizine ekleme hattının ilk adımında bu sayfanın URL’sini keşfetmesi gerekir.
Şu şekilde olabilir:
- Dahili bağlantıları takip etme blogunuzun diğer sayfalarında sağladığınız
- Dış bağlantıları takip etme yeni içeriğinizi faydalı bulan kişiler tarafından oluşturuldu.
- Bir XML site haritasından geçmek Google Arama Konsolu’na yüklediğiniz
Sayfanın keşfedilmiş olması, Google’ın varlığından ve URL’sinden haberdar olduğu anlamına gelir.
Emekleme
Tarama, URL’yi ziyaret etme ve sayfanın içeriğini getirme işlemidir.
Googlebot, tarama sırasında belirli bir sayfanın ana konusu, bu sayfanın hangi dosyaları içerdiği, üzerinde hangi anahtar kelimelerin göründüğü vb. hakkında bilgi toplar.
Bir sayfadaki bağlantıları bulduktan sonra, tarayıcı onları bir sonraki sayfaya kadar takip eder ve döngü devam eder.
Googlebot’un robots.txt tarafından belirlenen kurallara uyduğunu ve böylece o dosyada sağladığınız yönergeler tarafından engellenen sayfaları taramayacağını unutmamak önemlidir.
Oluşturma
Googlebot’un hem JavaScript içeriğini hem de resim, ses ve video dosyalarını anlaması için oluşturma işleminin gerçekleşmesi gerekir.
Bu tür dosyalar Google için her zaman HTML’den daha büyük bir mücadele olmuştur.
Bu metaforda, diğer içeriklere bağlantılar içeren bir web sitesinin ilk HTML dosyası bir reçetedir. Tarayıcınızda görüntülemek için klavyenizdeki F12 tuşuna basabilirsiniz.
CSS, JavaScript dosyaları, resimler ve videolar gibi web sitesinin tüm kaynakları, web sitesine son görünümünü vermek için gerekli bileşenlerdir.
Web sitesi bu duruma ulaştığında, daha çok Belge Nesne Modeli olarak adlandırılan işlenmiş HTML ile uğraşıyorsunuz demektir.
Martin ayrıca JavaScript’in bir tarif içindeki bir tarif gibi çalıştığı için JavaScript’i yürütmenin ilk oluşturma aşaması olduğunu söyledi.
Çok uzak olmayan bir geçmişte, Googlebot bir sayfanın ilk HTML sürümünü dizine ekler ve sürecin maliyeti ve zaman alıcı doğası nedeniyle JavaScript oluşturmayı geç bırakırdı.
SEO endüstrisi bu fenomeni “iki indeksleme dalgası” olarak adlandırdı.
Ancak, şimdi iki dalganın artık gerekli olmadığı görülüyor.
Google’ın hedeflerinden biri, taramayı, oluşturmayı ve dizine eklemeyi birbirine daha yakın hale getirmektir.
Sayfanızı Daha Hızlı Dizine Ekleyebilir misiniz?
Google’ı yeni sayfanızı dizine eklemeye zorlayamazsınız.
Bunun ne kadar hızlı gerçekleştiği de sizin kontrolünüz dışındadır. Ancak, keşfetme ve taramanın olabildiğince sorunsuz çalışması için sayfalarınızı optimize edebilirsiniz.
İşte yapmanız gerekenler:
Sayfanızın Dizine Eklenebilir Olduğundan Emin Olun
Sayfalarınızı dizine eklenebilir durumda tutmak için izlemeniz gereken iki önemli kural vardır:
- Bunları robots.txt veya noindex yönergesi ile engellemekten kaçınmalısınız.
- Belirli bir içerik parçasının standart sürümünü standart bir etiketle işaretlemelisiniz.
robots.txt sitenizi ziyaret eden robotlar için talimatları içeren bir dosyadır.
Hangi tarayıcıların belirli sayfaları veya klasörleri ziyaret etmesine izin verilmediğini belirtmek için kullanabilirsiniz. Tek yapmanız gereken izin vermeme yönergesini kullanmak.
Örneğin, robotların “example” başlıklı klasördeki sayfaları ve dosyaları ziyaret etmesini istemiyorsanız, robots.txt dosyanız aşağıdaki yönergeleri içermelidir:
User-agent: * Disallow: /example/
Bazen, Googlebot’un yanlışlıkla değerli sayfaları dizine eklemesini engellemek mümkündür.
Teknik sorunlardan dolayı sayfanızın indexlenmediğinden endişe ediyorsanız robots.txt dosyanıza mutlaka bir göz atmalısınız.
Googlebot kibardır ve dizine ekleme hattına yapılmaması söylenen hiçbir sayfayı iletmez. Böyle bir komutu ifade etmenin bir yolu, bir noindex yönergesini şuraya koymaktır:
Bu yönergenin dizine eklenmesi gereken sayfalarda görünmediğinden emin olun.
Tartıştığımız gibi, Google yinelenen içeriği dizine eklemekten kaçınmak istiyor. Birbirinin kopyası gibi görünen iki sayfa bulursa, muhtemelen bunlardan yalnızca birini dizine ekler.
Kanonik etiket yanlış anlamaları önlemek ve Googlebot’u hemen web sitesi sahibinin sayfanın orijinal sürümünü düşündüğü URL’ye yönlendirmek için oluşturulmuştur.
Google dizininde yer almasını istediğiniz bir sayfanın kaynak kodunun kanonik olarak başka bir sayfayı göstermemesi gerektiğini unutmayın.
Bir Site Haritası Gönder
Bir site haritası web sitenizin dizine eklenmesini istediğiniz her URL’yi (50.000’e kadar) listeler.
Google’ın site haritasını daha hızlı keşfetmesine yardımcı olmak için Google Arama Konsolu’na gönderebilirsiniz.
Bir site haritasıyla, Googlebot’un sayfalarınızı keşfetmesini kolaylaştırır ve dahili bağlantıları takip ederken bulamadığı sayfaları tarama şansını artırırsınız.
robots.txt dosyanızda site haritasına başvurmak iyi bir uygulamadır.
Google’dan Sayfalarınızı Yeniden Taramasını İsteyin
Tek tek URL’lerin taranmasını talep edebilirsiniz. URL İnceleme aracı Google Arama Konsolunda mevcuttur.
Yine de dizine eklemeyi garanti etmez ve biraz sabırlı olmanız gerekir, ancak bu, Google’ın sayfanızın varlığından haberdar olmasını sağlamanın başka bir yoludur.
İlgiliyse, Google’ın Dizine Ekleme API’sini Kullanın
Dizine Ekleme API’si, Google’a yeni eklenen sayfalar hakkında bilgi vermenizi sağlayan bir araçtır.
Bu araç sayesinde Google, zamana duyarlı içeriğin dizine eklenmesini daha verimli bir şekilde planlayabilir.
Ne yazık ki, blog gönderileriniz için kullanamazsınız çünkü şu anda bu araç yalnızca iş teklifleri ve canlı videolar içeren sayfalar için tasarlanmıştır.
Bazı SEO uzmanları, diğer sayfa türleri için Dizine Ekleme API’sini kullanırken – ve bu kısa vadede işe yarayabilir – uzun vadede uygulanabilir bir çözüm olarak kalması şüphelidir.
Sitenizdeki Sunucu Aşırı Yüklemesini Önleyin
Son olarak, Googlebot’un web sitenizin tarama hızını düşürmemesi için sunucunuzun bant genişliğinin iyi olmasını sağlamayı unutmayın.
Paylaşılan barındırma sağlayıcılarını kullanmaktan kaçının ve işi halledebildiğinden emin olmak için sunucunuzu düzenli olarak stres testi yapmayı unutmayın.
Özet
Google, işlediği tüm içeriği dizine eklemediğinden, sayfanızın dizine eklenmesinin ne kadar süreceğini (veya bunun gerçekleşip gerçekleşmeyeceğini) tam olarak tahmin etmek imkansızdır.
Tipik olarak indeksleme, yayınlandıktan saatler veya haftalar sonra gerçekleşir.
Dizine eklenmek için en büyük darboğaz, derhal taranmaktır.
İçeriğiniz kalite eşiklerini karşılıyorsa ve teknik engeller Dizine eklemek için öncelikle yeni içeriğin hızla dizine eklenmesini sağlamak için Googlebot’un sitenizi nasıl taradığına bakmalısınız.
Bir sayfa, dizin oluşturma ardışık düzenine yeniden yönlendirilmeden önce, Googlebot onu tarar ve çoğu durumda gömme resimleri, videoları ve JavaScript öğelerini oluşturur.
Daha sık değişen ve bu nedenle tarama talebi daha yüksek olan web siteleri daha sık yeniden taranır.
Googlebot web sitenizi ziyaret ettiğinde, onu aşırı yüklemeden sunucunuza gönderebileceği sorgu sayısına göre tarama hızıyla eşleşir.
Bu nedenle, iyi bir sunucu bant genişliğine dikkat etmeye değer.
Googlebot’u robots.txt dosyasında engellemeyin çünkü bu durumda sayfalarınızı taramayacaktır.
Google’ın noindex robots meta etiketine de saygı duyduğunu ve genellikle URL’nin yalnızca standart sürümünü dizine eklediğini unutmayın.
