Falcon-Edge Serisi: 1 Milyar ve 3 Milyar Parametreli Eğitilebilir Ternary Dil Modelleri ve onebitllms Paketi Tanıtıldı
Kaynak: huggingface.co ·
Ternary formatında, BitNet mimarisine dayanan Falcon-Edge dil modeli serisi 1 milyar ve 3 milyar parametre boyutlarıyla tanıtıldı. Tek bir eğitim süreciyle bfloat16, yerel BitNet ve ince ayara hazır önceden kuantalanmış varyantlar üreten yeni bir ön eğitim paradigması sunuluyor. Ayrıca bu modellerin eğitimini kolaylaştırmak için onebitllms adında hafif bir Python paketi geliştirildi. Bu paket, önceden kuantalanmış modellerin BitNet eğitim formatına dönüştürülmesini ve trl gibi araçlarla tam ince ayar yapılmasını sağlıyor.
Neden önemli?
Daha önceki BitNet sürümleri genellikle sadece son kuantalanmış modeli sunduğu için doğrudan ince ayara imkan tanımıyordu. Falcon-Edge serisi ve onebitllms paketi, geliştiricilerin 1 bitlik dil modellerini kendi alanlarına uyarlamasını mümkün kılıyor. Bu durum, uç cihazlarda bellek verimliliği yüksek ve daha hızlı çalışan modellerin yaygınlaşmasının önünü açıyor.
Bununla neler yapılabilir?
- Olası kullanım: onebitllms kütüphanesini kullanarak önceden kuantalanmış Falcon-Edge model kontrol noktalarını BitNet eğitim formatına dönüştürmek.
- Olası kullanım: Hugging Face trl kütüphanesini entegre ederek kendi veri setiniz üzerinde tam ince ayar (full fine-tuning) gerçekleştirmek.
- Olası kullanım: `revision="bfloat16"` parametresini kullanarak bfloat16 karşılıklarını doğrudan Hugging Face transformers kütüphanesi üzerinden yüklemek.
Somut sonuçlar ve kanıtlar
- Falcon-Edge modelleri, benzer boyutlardaki diğer modellere kıyasla leaderboard v2 görevlerinde eşdeğer ve daha iyi performans sergilemektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Şu an için yalnızca tam ince ayar (full fine-tuning) desteklenmektedir; Parametre Verimli İnce Ayar (PEFT) yöntemleri bu sürümde desteklenmemektedir. Ayrıca eğitim sırasında BitNet kullanımının getirdiği ek yükün testlerde yaklaşık %2 civarında olduğu tahmin edilmektedir ve daha kapsamlı sayılar henüz yayınlanmamıştır.