5. Nesil Xeon İşlemcilerde Yapay Zeka İş Yükleri İçin Başarım Kıyaslaması ve Yeni Uzun Bağlam Değerlendirme Aracı
Kaynak: huggingface.co ·
Google Cloud Compute Engine üzerinde 5. nesil Intel Xeon işlemcili C4 örnekleri, 3. nesil Xeon işlemcili N2 örneklerine kıyasla metin gömmede 10 ila 24 kat, metin üretiminde ise 2.3 ila 3.6 kat daha yüksek iş hacmi sunmaktadır. Toplam sahip olma maliyeti göz önüne alındığında C4, metin gömmede 7 ila 19 kat, metin üretiminde ise 1.7 ila 2.9 kat avantaj sağlamaktadır. Bu arada, uzun bağlamlı dil modellerini kapsamlı bir şekilde değerlendirmek için çeşitlilik, kontrol edilebilirlik ve güvenilirlik sunan HELMET adlı yeni bir kıyaslama paketi tanıtılmıştır. Araştırmacılar bu paket ile 59 farklı modeli incelemiş ve açık kaynaklı modellerin karmaşık görevlerde kapalı kaynaklıların gerisinde kaldığını gözlemlemiştir.
Neden önemli?
Bu gelişmeler, hafif yapıdaki aracı yapay zeka çözümlerinin maliyet avantajıyla tamamen merkezi işlemciler üzerinde çalıştırılabileceğini ve uzun bağlamlı modellerin gerçek dünya koşullarında daha güvenilir biçimde değerlendirilebileceğini göstermektedir.
Bununla neler yapılabilir?
- Olası kullanım: Google Cloud üzerindeki C4 örnekleri kullanılarak metin gömme ve metin üretimi iş yüklerinin tamamen merkezi işlemciler üzerinde yürütülmesi.
- Olası kullanım: HELMET kıyaslama paketi ile taban ve talimat ayarlı uzun bağlamlı dil modellerinin farklı görevlerde performanslarının karşılaştırılması.
Somut sonuçlar ve kanıtlar
- GCP C4 örneği, metin gömme kıyaslama vakalarında N2'ye kıyasla yaklaşık 10 kat ila 24 kat daha yüksek iş hacmi sunmaktadır. (Üreticinin açıklaması)
- C4 örneği, metin üretimi kıyaslamasında N2'ye kıyasla tutarlı bir şekilde yaklaşık 2.3 kat ila 3.6 kat daha yüksek iş hacmi göstermektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Testler belirli Google Cloud örnekleri (N2 ve C4) ve belirli model/veri seti kombinasyonları ile sınırlıdır; her donanım veya kullanım senaryosu için aynı sonuçlar garanti edilmez.