İki MİT Araştırmalar, etiketlenmemiş verilerden çevreleri hakkında bilgi edinen “kendi kendini denetleyen öğrenme” modellerinin, memeli beynindekilere benzer aktivite modelleri gösterebildiğini ortaya koyuyor.
İnsan Öğreniminin Yapay Zeka Modeli Eğitimini Nasıl Yansıttığını Çözme
Dünya üzerinde yolumuzu çizebilmek için beynimizin etrafımızdaki fiziksel dünyaya dair sezgisel bir anlayış geliştirmesi gerekir; biz de bunu daha sonra beyne gelen duyusal bilgileri yorumlamak için kullanırız.
Beyin bu sezgisel anlayışı nasıl geliştirir? Pek çok bilim insanı bunun “kendi kendini denetleyen öğrenme” olarak bilinen sürece benzer bir süreç kullanabileceğine inanıyor. Bu tarz makine öğrenmeBaşlangıçta bilgisayarlı görme için daha verimli modeller oluşturmanın bir yolu olarak geliştirilen , hesaplamalı modellerin, hiçbir etiket veya başka bilgi olmaksızın yalnızca aralarındaki benzerliklere ve farklılıklara dayalı olarak görsel sahneler hakkında bilgi edinmesine olanak tanır.
Sinir Ağı Çalışmalarından Kanıtlar
MIT’deki K. Lisa Yang Bütünleyici Hesaplamalı Sinirbilim (ICoN) Merkezi’ndeki araştırmacıların yaptığı bir çift çalışma, bu hipotezi destekleyen yeni kanıtlar sunuyor. Araştırmacılar, sinir ağları olarak bilinen modelleri belirli bir tür kendi kendini denetleyen öğrenmeyi kullanarak eğittiklerinde, ortaya çıkan modellerin, modellerle aynı görevleri yerine getiren hayvanların beyinlerinde görülenlere çok benzer aktivite modelleri ürettiğini buldu.
Bulgular, bu modellerin fiziksel dünyanın temsillerini öğrenerek o dünyada ne olacağına dair doğru tahminlerde bulunabildiğini ve memeli beyninin de aynı stratejiyi kullanıyor olabileceğini öne sürüyor araştırmacılar.
ICoN Merkezi’nde doktora sonrası araştırmacı olan Aran Nayebi, “Çalışmamızın teması, daha iyi robotlar oluşturmaya yardımcı olmak için tasarlanan yapay zekanın aynı zamanda beyni daha genel olarak daha iyi anlamak için bir çerçeve haline gelmesidir” diyor. “Henüz beynin tamamı olup olmadığını söyleyemeyiz, ancak ölçekler ve farklı beyin alanları genelinde sonuçlarımız bir düzenleme ilkesini akla getiriyor gibi görünüyor.”
Nayebi çalışmalardan birinin baş yazarıdır. Şu anda Meta Reality Labs’ta çalışan eski bir MIT doktora sonrası araştırmacısı olan Rishi Rajalingham ve beyin ve bilişsel bilimler alanında doçent ve McGovern Beyin Araştırmaları Enstitüsü üyesi olan kıdemli yazarlar Mehrdad Jazayeri ile birlikte yazılmıştır; ve beyin ve bilişsel bilimler alanında yardımcı doçent ve McGovern Enstitüsü’nün ortak üyesi Robert Yang. ICoN Merkezi direktörü, beyin ve bilişsel bilimler profesörü ve McGovern Enstitüsü’nün ortak üyesi Ila Fiete, diğer çalışmanın kıdemli yazarıdır:[2] MIT yüksek lisans öğrencisi Mikail Khona ve MIT’de eski kıdemli araştırma görevlisi Rylan Schaeffer tarafından ortaklaşa yönetildi.
Her iki çalışma da Aralık ayında 2023 Sinir Bilgi İşleme Sistemleri Konferansında (NeurIPS) sunulacak.
Hesaplamalı Modellerdeki Gelişmeler ve Etkileri
Bilgisayarla görmenin ilk modelleri esas olarak denetimli öğrenmeye dayanıyordu. Bu yaklaşımı kullanarak modeller, her biri bir adla (kedi, araba vb.) etiketlenmiş görüntüleri sınıflandırmak üzere eğitilir. Ortaya çıkan modeller iyi çalışır, ancak bu tür bir eğitim, büyük miktarda insan etiketli veri gerektirir.
Daha verimli bir alternatif yaratmak için son yıllarda araştırmacılar, karşılaştırmalı kendi kendini denetleyen öğrenme olarak bilinen bir teknikle oluşturulan modellere yöneldiler. Bu tür öğrenme, bir algoritmanın, hiçbir harici etiket sağlanmadan, nesneleri birbirlerine ne kadar benzer olduklarına göre sınıflandırmayı öğrenmesine olanak tanır.
Nayebi, “Bu çok güçlü bir yöntem çünkü artık çok büyük modern veri kümelerinden, özellikle de videolardan yararlanabilir ve bunların potansiyelini gerçekten açığa çıkarabilirsiniz” diyor. “Şu anda, özellikle de son birkaç yılda ChatGPT ve GPT-4’te gördüğünüz modern yapay zekanın çoğu, çok esnek bir temsil elde etmek için büyük ölçekli bir veri kümesi üzerinde kendi kendini denetleyen bir hedef fonksiyonunun eğitiminin bir sonucudur.”
Bu tür modellere aynı zamanda nöral ağlar, birbirine bağlı binlerce veya milyonlarca işlem biriminden oluşur. Her düğümün ağdaki diğer düğümlerle değişen güçlerde bağlantıları vardır. Ağ çok büyük miktarda veriyi analiz ederken, ağ istenen görevi gerçekleştirmeyi öğrendikçe bu bağlantıların gücü de değişir.
Model belirli bir görevi yerine getirirken ağ içindeki farklı birimlerin aktivite kalıpları ölçülebilir. Her birimin aktivitesi, beyindeki nöronların ateşleme modellerine benzer şekilde bir ateşleme modeli olarak temsil edilebilir. Nayebi ve diğerlerinin önceki çalışmaları, kendi kendini denetleyen görme modellerinin, memeli beyinlerinin görsel işleme sisteminde görülenlere benzer aktivite ürettiğini göstermişti.
Yeni NeurIPS çalışmalarının her ikisinde de araştırmacılar, diğer bilişsel işlevlerin kendi kendini denetleyen hesaplamalı modellerinin de memeli beyniyle benzerlikler gösterip göstermediğini araştırmaya koyuldu. Nayebi liderliğindeki çalışmada araştırmacılar, günlük senaryoları tasvir eden yüz binlerce doğal video aracılığıyla çevrelerinin gelecekteki durumunu tahmin etmek için kendi kendini denetleyen modelleri eğitti.
“Son on yıldır, bilişsel sinirbilimde sinir ağı modelleri oluşturmanın baskın yöntemi, bu ağları bireysel bilişsel görevler konusunda eğitmektir. Ancak bu şekilde eğitilen modeller nadiren diğer görevlere genellenir” diyor Yang. “Burada, önce kendi kendini denetleyen öğrenmeyi kullanarak doğal veriler üzerinde eğitim alarak, ardından laboratuvar ortamında değerlendirerek bilişin bazı yönleri için modeller oluşturup oluşturamayacağımızı test ediyoruz.”
Model eğitildikten sonra araştırmacılar onu “Mental-Pong” adını verdikleri bir göreve genelleştirdiler. Bu, oyuncunun ekran boyunca ilerleyen bir topa vurmak için raketi hareket ettirdiği Pong video oyununa benzer. Mental-Pong versiyonunda, top rakete çarpmadan kısa bir süre önce kaybolur, dolayısıyla oyuncunun topa vurmak için yörüngesini tahmin etmesi gerekir.
Araştırmacılar, modelin gizli topun yörüngesini takip edebildiğini buldu. kesinlik Rajalingham ve Jazayeri tarafından daha önce yapılan bir çalışmada onun yörüngesini simüle ettiği gösterilen memeli beynindeki nöronlarınkine benzer; bu, “zihinsel simülasyon” olarak bilinen bilişsel bir olgudur. Dahası, modelde görülen sinirsel aktivasyon modelleri, oyun oynayan hayvanların beyinlerinde, özellikle de dorsomedial frontal korteks adı verilen beynin bir kısmında görülenlere benziyordu. Araştırmacılar, başka hiçbir hesaplamalı model sınıfının biyolojik verileri bu kadar yakından eşleştiremediğini söylüyor.
Jazayeri, “Makine öğrenimi topluluğunda yapay zeka yaratmaya yönelik birçok çaba var” diyor. “Bu modellerin nörobiyolojiyle ilgisi, beynin iç işleyişini ek olarak yakalama yeteneklerine dayanıyor. Aran’ın modelinin sinirsel verileri tahmin etmesi gerçekten önemli çünkü doğal zekayı taklit eden yapay sistemler oluşturmaya yaklaştığımızı gösteriyor.”
Beyindeki Uzaysal Navigasyona Bağlantı
Khona, Schaeffer ve Fiete tarafından yürütülen çalışma, ızgara hücreleri olarak bilinen bir tür özel nörona odaklandı. Entorhinal kortekste yer alan bu hücreler, hipokampusta bulunan yer hücreleriyle birlikte çalışarak hayvanların yön bulmasına yardımcı olur.
Yer hücreleri, bir hayvan belirli bir konumda olduğunda ateşlenirken, ızgara hücreleri yalnızca hayvan üçgen kafesin köşelerinden birinde olduğunda ateşlenir. Izgara hücre grupları, farklı boyutlarda örtüşen kafesler oluşturur; bu da onların nispeten az sayıda hücre kullanarak çok sayıda konumu kodlamasına olanak tanır.
Araştırmacılar, yol entegrasyonu olarak bilinen bir görev olan, başlangıç noktası ve hızına dayalı olarak bir hayvanın bir sonraki konumunu tahmin ederek ızgara hücre fonksiyonunu taklit etmek için denetimli sinir ağlarını eğitti. Ancak bu modeller, mutlak uzay hakkındaki ayrıcalıklı bilgilere, yani hayvanın sahip olmadığı bilgilere her zaman erişime dayanıyordu.
Uzay için çok periyodik ızgara hücresi kodunun çarpıcı kodlama özelliklerinden ilham alan MIT ekibi, hem aynı yol entegrasyon görevini gerçekleştirmek hem de bunu yaparken alanı verimli bir şekilde temsil etmek için karşılaştırmalı, kendi kendini denetleyen bir model geliştirdi. Eğitim verileri için hız giriş dizilerini kullandılar. Model, konumları benzer ya da farklı olmalarına göre ayırt etmeyi öğrendi; yakındaki konumlar benzer kodlar oluşturdu, ancak daha sonraki konumlar daha farklı kodlar üretti.
Khona, “Bu, görseller üzerinde eğitim modellerine benzer; iki görselin her ikisi de kedi kafasıysa kodlarının benzer olması gerekir; ancak biri kedi kafası, diğeri kamyon ise bu durumda kodlarının birbirini itmesini istersiniz,” diyor Khona diyor. “Aynı fikri alıyoruz ancak bunu uzaysal yörüngelere uyguluyoruz.”
Model eğitildikten sonra araştırmacılar, model içindeki düğümlerin aktivasyon modellerinin, beyindeki ızgara hücrelerinin oluşturduğu modellere çok benzer, farklı periyotlara sahip birkaç kafes modeli oluşturduğunu buldular.
Fiete, “Bu çalışmada beni heyecanlandıran şey, ızgara hücre kodunun çarpıcı bilgi-teorik özelliklerine ilişkin matematiksel çalışmalar ile yol entegrasyonunun hesaplanması arasında bağlantı kurmasıdır” diyor. “Matematiksel çalışma analitik olmasına rağmen ızgara hücresi kodu hangi özelliklere sahiptir? — Kendi kendini denetleyen öğrenme yoluyla kodlama verimliliğini optimize etme ve ızgara benzeri ayarlama elde etme yaklaşımı sentetiktir: Beynin neden ızgara hücrelerine sahip olduğunu açıklamak için hangi özelliklerin gerekli ve yeterli olabileceğini gösterir.
Referanslar:
- Aran Nayebi, Rishi Rajalingham, Mehrdad Jazayeri ve Guangyu Robert Yang, “Zihinsel Simülasyonun Nöral Temelleri: Dinamik Sahnelerde Gizli Temsillerin Gelecek Tahmini”, 25 Ekim 2023
- Rylan Schaeffer, Mikail Khona, Tzuhsuan Ma, Cristobal Eyzaguirre, Sanmi Koyejo ve Ila Fiete tarafından yazılan “Uzay Temsillerinin Kendi Kendine Denetimli Öğrenimi Çok Modüler Izgara Hücreleri Oluşturuyor”, NeurIPS 2023 Konferansı.
Araştırma K. Lisa Yang ICoN Merkezi tarafından finanse edildi. Ulusal Sağlık EnstitüleriSimons Vakfı, McKnight Vakfı, McGovern Enstitüsü ve Helen Hay Whitney Vakfı.