NVIDIA, en yeni RTX GPU’ları tarafından desteklenen milyonlarca Windows 11 bilgisayara Yapay Zeka İş Yüklerine büyük bir ivme kazandırıyor.
100 Milyondan Fazla Windows Bilgisayar, RTX GPU’lar İçin TensorRT-LLM Sayesinde NVIDIA’nın Hızlandırılmış Yapay Zeka Performansından Yararlanacak
TensorRT-LLM’nin Windows 11’e ekleneceğini ve 21 Kasım’da en yeni sürücü paketiyle piyasaya sürüldüğünde 100 milyondan fazla RTX kullanıcısı için etkinleştirileceğini söyledi. Duyuru, yapay zekanın geleceğini ve ilerledikçe Windows ekosistemini nasıl dönüştüreceğini tartışan önemli bir etkinlik olan Microsoft’un Ignite’ı sırasında yapıldı.
TensorRT-LLM, RTX 40 ve RTX 30 GPU Sahipleri İçin Yapay Zekayı Artırıyor
Bugün NVIDIA, TensorRT-LLM AI hızlandırmanın 8 GB’tan fazla VRAM’e sahip tüm RTX Masaüstü Bilgisayarlar ve dizüstü bilgisayarlar için kullanılabileceğini doğruladı. TensorRT-LLM’ye ek olarak NVIDIA ve Microsoft, Stable Diffusion ve Llama 2 gibi popüler yapay zeka modellerini desteklemek için DirectML geliştirmelerini de getiriyor.
TensorRT-LLM’yi destekleyen bir NVIDIA RTX GPU’ya sahip olmak, tüm verilerinizi ve projelerinizi buluta kaydetmek yerine yerel olarak kullanabileceğiniz anlamına gelir. Bu, zamandan tasarruf sağlar ve daha kesin sonuçlar sunar. RAG veya Geri Alma Artırılmış Üretim LLM’nin geçmesini istediğiniz veri kümesiyle doldurulabilen yerelleştirilmiş bir kitaplık kullanarak AI sonuçlarını daha hızlı hale getirmek için kullanılan tekniklerden biridir ve ardından size doğru sonuçlar sağlamak için bu LLM’nin dili anlama yeteneklerinden yararlanır.
NVIDIA, bu ayın sonlarında kullanıma sunulacak olan TensorRT-LLM v0.6.0 ile 5 kat performans artışı olduğunu belirtiyor. Ayrıca Mistral 7B ve Nemotron 3 8B gibi ek LLM’ler için de destek sağlanacak.
TensorRT-LLM’nin en son sürümünü denemek isteyenler için kurulum şu adreste mevcut olacaktır: resmi Github bağlantısı burada Ayrıca en son optimize edilmiş modelleri şuradan alabilirsiniz: NVIDIA’nın NGC kaynağı.
OpenAI, NVIDIA’nın TensorRT-LLM’si ile Windows’ta Daha İyi Hale Geldi
Belgelere yardımcı olma, e-posta, web içeriğini özetleme, veri analizi ve çok daha fazlası gibi çok çeşitli uygulamalara sahip, çok popüler bir AI tabanlı sohbet API’si olan OpenAI’ye bir başka önemli güncelleme geliyor. Bir kez daha, verilerin kullanıcı tarafından manuel olarak yüklenmesi veya girilmesi gerekir; bu nedenle, özellikle büyük bir veri kümesi söz konusu olduğunda yerel verilere erişim oldukça sınırlıdır.
Bunu çözmek için NVIDIA ve Microsoft, OpenAI’nin ChatAPI’sine, yalnızca Windows PC’lere TensorRT-LLM hızlandırması eklemekle kalmayacak, aynı zamanda kullanıcıların RTX’li bir PC’de yerel olarak çalışacakları gibi benzer bir iş akışına erişmelerini sağlayacak yeni bir sarmalayıcı aracılığıyla bir API arayüzü sunacak. Dolayısıyla, ChatAPI’ye herhangi bir veri seti yüklemeniz gerekmez çünkü veri setinin tamamı ChatAPI’de sanki yerel olarak mevcutmuş gibi kullanılabilir olacaktır.
Özel sarmalayıcı, TensorRT-LLM için optimize edilmiş hemen hemen tüm LLM’lerle çalışacaktır. Optimize edilmiş LLM’lerin birkaç örneği arasında Llama 2, Mistral, NV LLM yer almaktadır ve daha fazlası yakında eklenecektir. Ayrıca NVIDIA GitHub sayfasında da mevcut olacak.
Bu duyurular, NVIDIA’nın yapay zekayı yalnızca şirketler için değil ana akım kitleler için de hızlandırmak istediğini gösteriyor. Yapay zeka söz konusu olduğunda yazılım, onu çalıştıran donanımdan daha önemlidir ve TensorRT-LLM gibi gelişmelerin milyonlarca RTX kullanıcısına sunulması kesinlikle büyük bir olaydır. Yapay zeka üstünlüğüne giden yol, önümüzdeki yıllarda giderek daha fazla rakibin yapay zekaya yönelik benzersiz yaklaşımlarıyla izleyicileri etkilemeye çalışmasıyla kızışacak ancak şu anda NVIDIA, önlerine giden yolu sorunsuz bir şekilde açacak hem donanım hem de yazılım uzmanlığına sahip.