Bamba-9B: Açık Verilerle Eğitilen ve Bellek Sıkıntısını Hafifleten Melez Mamba2 Modeli Tanıtıldı
Kaynak: huggingface.co ·
IBM, Princeton, CMU ve UIUC araştırmacıları tamamen açık veriler kullanarak Bamba-9B adında melez bir Mamba2 dil modeli geliştirdi. Model, çıkarım sırasında standart dönüştürücülere kıyasla 2.5 kata kadar daha yüksek işlem hacmi ve 2 kat daha düşük gecikme süresi sunuyor. Topluluk deneyimlerini desteklemek amacıyla model ağırlıkları, eğitim tarifleri ve durum bilgisi saklayan veri yükleyici açık kaynak olarak paylaşıldı. Bu mimari, bellek bant genişliği sorunlarını hafifletirken açık kaynaklı modellere benzer bir performans hedefliyor.
Neden önemli?
Dil modelleri, uzun bağlam uzunluklarında standart dönüştürücü mimarileri nedeniyle bellek bant genişliği darboğazlarıyla karşı karşıya kalır. Bamba-9B, Mamba2 melez yapısı sayesinde KV-önbellek şişmesini önleyerek gerçek zamanlı uygulamalarda verimliliği artırır ve araştırmacılara tamamen şeffaf eğitim süreçleri sunar.
Bununla neler yapılabilir?
- Olası kullanım: vLLM sunum çerçevesi entegrasyonu ile gerçek zamanlı metin üretim uygulamalarında işlem hacmini artırmak.
- Olası kullanım: Durum bilgisi saklayan ve sıfır ek yükle veri akışı sağlayan özel veri yükleyici ile dağıtık model eğitimi gerçekleştirmek.
- Olası kullanım: Hugging Face transformers ve llama.cpp kütüphaneleri üzerinden Bamba-9B modelini uçtan uca çıkarım görevlerinde test etmek.
Somut sonuçlar ve kanıtlar
- Bamba-9B, vLLM içerisinde standart dönüştürücülere kıyasla 2.5 kat işlem hacmi iyileştirmesi ve 2 kat gecikme hızı artışı göstermektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Bamba-9B modeli matematik kıyaslamalarında ve MMLU skorlarında standart dönüştürücü modellere kıyasla geride kalmaktadır. Ayrıca melez Mamba2 mimarisi için parçalı ön-doldurma (chunked prefill) desteği henüz bulunmamakta ve H100 grafik işlemcileri için Mamba2 çekirdekleri tam olarak optimize edilmemiştir.