Optimum-Intel ve OpenVINO GenAI ile Uç Cihazlarda Yapay Zeka Modellerini Optimize Etme ve Konuşlandırma
Kaynak: huggingface.co ·
Bu rehber, Hugging Face Transformers modellerinin Optimum-Intel ve OpenVINO GenAI kullanılarak uç cihazlarda nasıl optimize edilip konuşlandırılacağını açıklar. Süreç, Python veya komut satırı arayüzü ile modellerin OpenVINO Ara Temsil formatına aktarılmasını, Neural Network Compression Framework ile sıkıştırılmasını ve C++ ya da Python uygulamalarında çalıştırılmasını kapsar. Amaç, kaynak kısıtlı ortamlarda en az bağımlılık ve yüksek performansla yapay zeka çıkarımı yapmaktır.
Neden önemli?
Bu yaklaşım, Python ortamının yetersiz kaldığı veya C++ ağırlıklı uç cihaz ve istemci senaryolarında büyük dil modellerinin çalıştırılmasını kolaylaştırır. Geliştiriciler ve mühendisler, ağırlık nicemleme teknikleri sayesinde model boyutunu küçülterek Intel donanım üzerinde verimli yapay zeka çıkarımı elde edebilir.
Bununla neler yapılabilir?
- Olası kullanım: Meta-Llama-3.1-8B gibi modelleri Optimum-Intel komut satırı arayüzü veya Python API kullanarak OpenVINO formatına dönüştürmek.
- Olası kullanım: Neural Network Compression Framework ile ağırlık nicemleme uygulayarak model boyutunu küçültmek ve uç cihazlarda çalıştırmak.
- Olası kullanım: OpenVINO GenAI kütüphanesinin LLMPipeline sınıfını kullanarak Python veya C++ uygulamalarında metin üretimi ve etkileşimli sohbet senaryoları oluşturmak.
Somut sonuçlar ve kanıtlar
- meta-llama/Meta-Llama-3.1-8B modeli için PyTorch FP32 karşılaştırma düzeyinde 7.3366 olan Word Perplexity değeri, OpenVINO INT8 formatında 7.3463 ve OpenVINO INT4 formatında 7.8288 olarak ölçülmüştür. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model optimizasyon süreci, birden fazla yöntemin ardışık olarak uygulanması ve belirtilen veri kümesi üzerinden çıkarım yapılması nedeniyle zaman alabilir. Nicemleme işlemleri doğruluk ölçüsünde bazı kayıplara yol açabilir ve performans sonuçları kullanılan donanıma göre değişiklik gösterebilir.