Büyük Dil Modellerini 1.58 Bite Taşıyan İnce Ayar Yöntemi ve Özel Çekirdekler Tanıtıldı
Kaynak: huggingface.co ·
Büyük dil modellerinin hesaplama ve enerji maliyetlerini düşürmek amacıyla her parametreyi üç değerle ifade eden 1.58 bitlik aşırı nicemleme mimarisi mevcut modellere uyarlandı. Mevcut ağırlıkların doğrudan nicemlenmesi durumunda yaşanan bilgi kaybını aşmak için dinamik lambda değerine sahip kademeli bir ince ayar yöntemi geliştirildi. Bu yaklaşımla Llama3 8B modeli başarıyla 1.58 bite uyarlanarak verimli performans elde edildi. Ayrıca çıkarım hızını artırmak amacıyla CUDA ve Triton üzerinde özel çekirdekler yazıldı.
Neden önemli?
Sıfırdan büyük dil modeli eğitmek yüksek maliyetler gerektirirken, bu çalışma halihazırdaki ön eğitimli modellerin 1.58 bitlik aşırı nicemleme formatına düşük maliyetle uyarlanabilmesini sağlıyor. Bu sayede bellek tüketimi azalırken enerji verimliliği artıyor ve modeller daha sürdürülebilir hale geliyor.
Bununla neler yapılabilir?
- Olası kullanım: Ön eğitimli büyük dil modellerini 1.58 bitlik ternari hassasiyete dönüştürerek bellek ayak izini azaltmak
- Olası kullanım: Özelleştirilmiş CUDA ve Triton çekirdekleri kullanarak matris çarpımı ve çıkarım hızını optimize etmek
Somut sonuçlar ve kanıtlar
- BitNet b1.58 mimarisi, Llama karşılaştırma düzeyine kıyasla matris çarpımı için aritmetik işlem enerjisinde 71.4 kat tasarruf sağlar. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
İnce ayar sürecinde doğru öğrenme oranını ve azalma katsayısını bulmak zorluk yaratabilmektedir; ayrıca küçük modellerde kademeli nicemleme tekniği büyük modellerdeki kadar belirgin bir iyileştirme sağlamamaktadır.