– Advertisement –
NVIDIA Hazne H100 şu anda HPC ve AI iş yükleri için gezegendeki en hızlı GPU’dur ve bu da onu şu anda piyasadaki en popüler çip haline getirmektedir.
NVIDIA Hopper H100, Yapay Zeka ve İçerik Oluşturma İş Yüklerinde RTX 4090’ı Yok Etti, Ancak Oyun ve Sentetik Testlerde Katledildi
AI patlamasından bu yana, Hopper H100 GPU büyük talep gördü ve şirket, sırf bunu karşılamak için söz konusu çipin üretimini artırmak için tüm kaynaklarını bir araya getirdi.
Çinli içerik oluşturucu, Geekerwan oyun testleri de dahil olmak üzere birden fazla oluşturma uygulamasıyla 4 Yönlü yapılandırmaya kadar standart bir bilgisayarda çalışan çipin performansına ilk bakışı getiriyor.
NVIDIA H100 GPU, Çin’de elde edilmesi çok pahalı bir yongadır. Yaklaşık birim maliyeti gördük 30.000 ABD Doları ve 50.000 ABD Dolarına kadar. Yani bu grafik kartlarından dördü 100 bin dolardan fazlaya mal olacak ki bu delilik.
Kendin Yap PC kurulumunda bu GPU’ları test etmek için, kartta aktif bir soğutma çözümü olmadığı anlamına gelen pasif bir soğutucu ile birlikte geldiğinden, karta soğutma sağlamak için bir 3D Baskılı kanal yapılması gerekiyordu.
H100 herhangi bir görüntü çıkışı sağlamadığından ve hızlandırıcı bir kart olarak kullanılması amaçlandığından, bir NVIDIA GeForce GTX 1650 Ti grafik kartı da ikincil ekran kartı olarak kullanıldı.
Kullanılan H100 varyantı, GH100 GPU’nun tam 144 SM’sinden 114 SM’yi ve H100 SXM’de 132 SM’yi içeren 80 GB PCIe idi. Çip, 3200 FP8, 1600 TF16, 800 FP32 ve 48 TFLOP FP64 işlem gücü sunar. Ayrıca 24 ROP’lu 456 Tensör ve Doku Birimi içerir.
H100’ün yapılandırılma şekli, TPC’lerinden yalnızca 2’sinin standart grafik işleme görevleri için kullanılabilmesi ve tüm GPU bloğunun öncelikle bilgi işlem görevlerine tahsis edilmesidir; bu, sürücülerin desteklemediği durumlarda bile oyun oynarken olumsuz sonuçlara yol açabilir. bu tür iş yükleri. Kart, 5120 bit veri yolu arabiriminde 80 GB HBM2e (2,0 Gb/sn) bellek düzenine sahiptir ve 350 W dereceli TDP’ye sahiptir.
Testlerden başlayarak, kart ilk olarak Stable AI Diffusion testlerinde test edildi ve H100 2,82 saniye içinde bir görüntü oluşturabilse de RTX 4090’dan daha yavaştı. H100 desteği dahil edildi ve bu nedenle farklı bir model olan Donut kullanılmasına karar verildi. Donut aracı, Hopper H100 GPU’larda pytorch 2.0.01 altında bulunan dönüştürücü motorlardan yararlandı ve ayrıca CUDA 11.8 desteğini etkinleştirdi.
Buradaki performans, RTX 4090 ve RTX 6000 Ada GPU’lardan %30 daha yüksek hız sağlayan H100 ile tam tersiydi. İçerik oluşturucu ayrıca ölçekleme performansını görmek için dört adede kadar H100 GPU kullandı ve görünüşe göre iki H100 %43 daha fazla artış sağladı, ancak 3 yollu ve 4 yollu sonuçlar azalan getiriler ve negatif ölçekleme gösterdi. Görünüşe göre standart PC’ler birden fazla H100 GPU’dan yararlanamıyor.
VITS eğitim değerlendirmesinde H100, NVIDIA RTX 4090 ve RTX 6000 Ada GPU’lara kıyasla %23 daha hızlı performans sağladı. Bu, çok yoğun bellek kullanan bir kıyaslamadır ve H100’ün performansını etkilemez, çünkü zaten 80 GB belleğe sahiptir, ancak RTX 4090, sınırlı 24 GB VRAM’i nedeniyle daha yüksek bir toplu iş boyutuyla geride kalmıştır.
Sırada, ChatGPT’de H100’de yönetilebilen toplam 65 Milyar parametreye sahip büyük bir LLAMA modelimiz var, ancak RTX 4090 yalnızca 6 Milyar parametre çalıştırabilir. Bu, en azından LLM için oyun GPU’larının akıllıca bir seçenek olmadığını ve özel bir hızlandırıcı almanın daha iyi olduğunu gösteriyor. Son kıyaslama setinde, LAMMP’ler (28 Mart 2023) gibi HPC iş yükleri kullanıldı ve RTX 4090 ya da RTX 6000 Ada, iki teklifi ortadan kaldıran H100 PCIe’ye karşı koyamadı.
Ancak kart oyunlarda nasıl performans gösteriyor? 3DMark Time Spy ve Red Dead Redemption 2, NVIDIA H100 GPU’nun oyun performansını test etmek için kullanıldı ve kart, entegre bir GPU olan AMD’nin Radeon 680M’sinden daha yavaş çalıştı.
Sorun, H100’ün HPC/AI öncelikli bir çözüm olması ve şirketin kart için yapılmış resmi bir oyun sürücüsü olmaması nedeniyle beklenmesi gereken sürücülerin yetersiz kullanımı ve optimize edilmemiş yapısından kaynaklanıyordu.
Red Dead Redemption 2’de kart, 1080p Yüksek ayarlarla ve DLSS “Dengeli” ön ayarıyla çalıştırıldı ve yine de 30’un altında FPS sağladı. Bir kez daha, kartın gücünün 100W’ın altında olduğunu görebilirsiniz ve bu, H100 GPU’nun büyük ölçüde yetersiz kullanıldığını gösteriyor.
Yani NVIDIA’nın H100’ü olduğu söyleniyor, AI ve HPC iş yükleri için harika bir kart ve bununla ilgili. Bu çok pahalı bir hızlandırıcıdır, ancak dışarıda onunla boy ölçüşebilecek bir rakip olmadığı için, yeşil takım AMD ve Intel aynı alanda daha rekabetçi çözümler sunana kadar fiyatlardan paçayı sıyırabilir.
