Intel AutoRound ile Büyük Dil ve Görüntü Modellerinde Düşük Bit Nicemleme ve Yüksek Verimlilik
Kaynak: huggingface.co ·
Intel tarafından geliştirilen AutoRound, büyük dil modelleri ve görüntü-dil modelleri için tasarlanmış, ağırlık odaklı bir eğitim sonrası nicemleme aracıdır. İşaretli gradyan inişi yöntemiyle ağırlık yuvarlama ve kırpma aralıklarını ortaklaşa optimize eden bu araç, minimum doğruluk kaybıyla INT2 ile INT8 arasında düşük bit nicemleme yapılmasına imkan tanır. 72 milyar parametreli bir model, hafif modda bir A100 grafik işlemcisi üzerinde yalnızca 37 dakikada nicemlenebilir. Çeşitli donanım mimarilerini ve GPTQ, AWQ, GGUF gibi dışa aktarma formatlarını destekler.
Neden önemli?
Büyük yapay zeka modellerinin boyutunu küçültmek ve çıkarım gecikmesini azaltmak donanım maliyetleri açısından kritik önem taşır. AutoRound, özellikle aşırı düşük bit seviyelerinde (INT2 gibi) popüler karşılaştırma düzeylerine kıyasla daha yüksek göreceli doğruluk sunarak geliştiricilerin büyük modelleri verimli bir şekilde dağıtmasını sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Bellek kısıtlı ortamlarda çalıştırmak üzere büyük dil modellerini 2-bit veya 4-bit hassasiyette nicemlemek.
- Olası kullanım: Görüntü-dil modellerini optimize ederek farklı donanım birimlerinde daha hızlı çıkarım elde etmek.
Somut sonuçlar ve kanıtlar
- INT2 seviyesinde AutoRound, popüler karşılaştırma düzeylerinden 2.1 kata kadar daha yüksek göreceli doğruluk sunar. (Üreticinin açıklaması)
- 72 milyar parametreli bir modelin hafif modda A100 grafik işlemcisi üzerinde nicemlenmesi 37 dakika sürer. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Şu anda nicemlenmiş modelleri üretmek için yalnızca çevrimdışı mod desteklenmektedir. Henüz desteklenmeyen modeller için RTN yöntemi uygulanabilir ancak bu durumda bazı doğruluk kayıpları yaşanabilir.