Text Generation Inference Doğrudan Intel Gaudi Donanım Desteğine Kavuştu
Kaynak: huggingface.co ·
Metin Üretimi Çıkarımı aracının ana kod tabanına Intel Gaudi donanım desteği doğrudan entegre edildi. Bu sayede ayrı bir çatal depo kullanma zorunluluğu ortadan kalktı ve en son özellikler doğrudan desteklenmeye başlandı. Yeni çoklu arka uç mimarisi; Gaudi1, Gaudi2 ve Gaudi3 donanımlarının tamamında Llama 3.1, Mixtral ve Mistral gibi popüler modellerin çalıştırılabilmesini sağlıyor. Dinamik grup oluşturma, akışlı yanıtlar, çoklu kart çıkarımı ve FP8 duyarlılığı gibi özellikler artık bu donanımda kullanılabiliyor.
Neden önemli?
Bu entegrasyon, yapay zeka topluluğuna geleneksel grafik işlemcilerin ötesinde üretim ortamında model dağıtımı için alternatif donanım ve maliyet verimliliği seçenekleri sunar. Geliştiriciler, ayrı bir depo ile uğraşmadan en güncel çıkarım yeteneklerini doğrudan Intel hızlandırıcılar üzerinde kullanabilir.
Bununla neler yapılabilir?
- Olası kullanım: Llama 3.1 veya Mistral gibi popüler açık kaynaklı modelleri Intel Gaudi donanımlı makinelerde resmi Docker görüntüsü ile çalıştırmak.
- Olası kullanım: Çoklu kart çıkarımı, parça bölme ve FP8 hassasiyeti kullanarak üretim ortamında model performansını optimize etmek.
Somut sonuçlar ve kanıtlar
- Intel Gaudi donanım desteği, Text Generation Inference aracının ana kod tabanına PR #3091 ile tamamen entegre edildi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalıştırma için Gaudi donanımlı bir makine ve resmi Docker görüntüsünün kullanılması gerekmektedir; maliyet, erişim koşulları ve deneme sınırları kaynakta belirtilmemiştir.