Microsoft, önemli ölçüde daha az kaynak kullanırken soruları daha hızlı ve doğru yanıtlayan, diğer yöntemlerden daha iyi performans gösteren yeni bir konuşmaya dayalı soru yanıtlama modelini duyurdu.
Önerilen şey, GCoQA adını verdikleri Konuşmaya Dayalı Soru Cevaplama İçin Üretken Erişim adını verdikleri yöntemi kullanarak içerikteki pasajları sıralamanın yeni bir yoludur.
Araştırmacılar bir sonraki adımın bunun genel web araması için nasıl kullanılacağını keşfetmek olduğunu yazıyor.
Konuşmaya Dayalı Soru Cevaplama İçin Üretken Erişim
Otoregresif dil modeli bir sonraki kelimenin veya ifadenin ne olduğunu tahmin eder.
Bu model, düz İngilizce dilinde bir belgedeki pasajların temsili olan “tanımlayıcı dizeleri” kullanan otoregresif modelleri kullanır.
Bu uygulamada sayfa başlığını (sayfanın neyle ilgili olduğunu belirlemek için) ve bölüm başlıklarını (metnin bir pasajının neyle ilgili olduğunu belirlemek için) kullanırlar.
Deney, sayfa başlıklarının ve bölüm başlıklarının açıklayıcı olduğuna güvenilebilecek Wikipedia verileri üzerinde gerçekleştirildi.
Bir belgenin konusunu ve belgenin bir bölümünde yer alan pasajların konusunu tanımlamak için kullanılırlar.
Yani bu, gerçek dünyada kullanıldığında, bir web sayfasının neyle ilgili olduğunu öğrenmek için başlık öğesinin ve bir web sayfasının bölümlerinin neyle ilgili olduğunu anlamak için başlıkların kullanılmasına benzer.
“Tanımlayıcılar”, tüm bu bilgiyi web sayfasındaki pasajlara ve başlıklara eşlenen bir temsil olarak kodlamanın bir yoludur.
Alınan pasajlar daha sonra soruların cevaplarını oluşturmak için başka bir otoregresif modele konur.
Üretken Erişim
Araştırma makalesi, erişim kısmı için modelin, daha sonra yanıt olma olasılığına göre sıralanan tanımlayıcılar (web sayfasındaki pasajların temsilleri) oluşturmak için “ışın araması” adı verilen bir teknik kullandığını söylüyor.
Araştırmacılar şunu yazıyor:
“…sadece bir tane yerine birden fazla tanımlayıcı oluşturmak için yaygın olarak kullanılan bir teknik olan ışın aramayı kullanıyoruz.
Oluşturulan her tanımlayıcıya bir dil modeli puanı atanır ve bu puanlara göre oluşturulan tanımlayıcıların sıralama listesini elde etmemizi sağlar.
Sıralama tanımlayıcıları doğal olarak pasajların sıralama listesine karşılık gelebilir.
Araştırma makalesi daha sonra sürecin “hiyerarşik bir arama” olarak görülebileceğini söylüyor.
Bu senaryoda hiyerarşik, sonuçların önce sayfa konusuna, ardından sayfa içindeki pasajlara (bölüm başlıklarını kullanarak) göre sıralanması anlamına gelir.
Bu pasajlar alındıktan sonra, başka bir otoregresif model, alınan pasajlara dayalı olarak cevabı üretir.
Diğer Yöntemlerle Karşılaştırma
Araştırmacılar, GCoQA’nın, onu karşılaştırdıkları diğer birçok yaygın olarak kullanılan yöntemden daha iyi performans gösterdiğini buldu.
Diğer yöntemlerdeki sınırlamaların (darboğazların) üstesinden gelmek için faydalıydı.
Bu yeni model, pek çok açıdan, sohbete dayalı soru yanıtlamada derin bir değişiklik getirmeyi vaat ediyor.
Örneğin, mevcut modellere göre 1/10’u kadar bellek kaynağı kullanıyor; bu, verimlilik açısından büyük bir sıçramadır, üstelik daha hızlıdır.
Araştırmacılar şunu yazıyor:
“…yöntemimizi pratikte uygulamak daha kolay ve verimli hale geliyor.”
Microsoft araştırmacıları daha sonra şu sonuca varıyor:
“Kod çözücü modülündeki ince taneli çapraz etkileşimlerden yararlanan GCoQA, konuşma bağlamına daha etkili bir şekilde katılabildi.
Ek olarak, GCoQA pratikte daha düşük bellek tüketimine ve daha yüksek çıkarım verimliliğine sahip.”
GCoQA’nın Sınırlamaları
Ancak bu modelin uygulanmadan önce çözülmesi gereken bazı sınırlamalar vardır.
GCoQA’nın, “ışın arama” tekniğinin kullanılması nedeniyle, GCoQA’nın “büyük ölçekli pasajları” hatırlama yeteneğini sınırlayan sınırlamalara sahip olduğunu buldular.
Işın boyutunu artırmak da modeli yavaşlattığı için sorun yaratmadı.
Diğer bir sınırlama ise Vikipedi’nin başlıkları anlamlı bir şekilde kullanma konusunda güvenilir olmasıdır.
Ancak bunu Vikipedi dışındaki web sayfalarında kullanmak, modelin tökezleyen bir engelle karşılaşmasına neden olabilir.
İnternetteki birçok web sayfası, bir pasajın neyle ilgili olduğunu doğru bir şekilde belirtmek için bölüm başlıklarını kullanma konusunda kötü bir iş çıkarıyor (SEO’ların ve yayıncıların yapması gereken şey de budur).
Araştırma makalesi şunu gözlemliyor:
“GCoQA’nın genelleştirilebilirliği meşru bir endişedir.
GCoQA, ilgili pasajları almak için büyük ölçüde soru ile pasaj tanımlayıcıları arasındaki anlamsal ilişkiye dayanır.
GCoQA, üç akademik veri seti kullanılarak değerlendirilmiş olsa da soruların genellikle belirsiz olduğu ve tanımlayıcılarla eşleşmesinin zor olduğu gerçek dünya senaryolarındaki etkinliği belirsizliğini koruyor ve daha fazla araştırma gerektiriyor.”
GCoQA Gelecek Vaat Eden Yeni Bir Teknolojidir
Sonuçta araştırmacılar performans kazanımlarının güçlü bir kazanç olduğunu belirtti. Sınırlamalar üzerinde çalışılması gereken bir şeydir.
Araştırma makalesi, çalışmaya devam edilecek iki umut verici alan olduğu sonucuna varıyor:
“(1) tanımlayıcıların doğrudan başlıklardan elde edilemediği daha genel Web arama senaryolarında üretken erişimin kullanımının araştırılması; ve (2) iç ilişkilerini daha iyi anlamak için pasajların geri getirilmesi ve cevap tahmininin tek bir üretken modelde entegrasyonunun incelenmesi.
GCoQA’nın Değeri
Araştırma makalesi (Konuşmaya Dayalı Soru Cevaplama için Üretken Erişim) GitHub’da yayınlandı araştırma bilim adamlarından biri tarafından.
PDF bağlantısını bulmak için GitHub sayfasını ziyaret edin.
Bazen olduğu gibi, araştırma makalelerinin bir ödeme duvarının arkasında kaybolma yolu vardır, bu nedenle gelecekte de mevcut olacağının garantisi yoktur.
GCoQA yakın zamanda bir arama motoruna gelmeyebilir.
GCoQA’nın değeri, araştırmacıların bugün bildiğimiz şekliyle web aramasını dönüştürmek için üretken modelleri kullanmanın yollarını keşfetmek için nasıl çalıştıklarını göstermesidir.
Bu, nispeten yakın geleceğin arama motorlarının neye benzeyeceğinin bir önizlemesi olabilir.