Abu Dhabi Teknoloji İnovasyon Enstitüsü İlk Güçlü Dikkat Mekanizmasız 7 Milyar Parametreli Falcon Mamba Modelini Tanıttı
Kaynak: huggingface.co ·
Abu Dhabi merkezli Teknoloji İnovasyon Enstitüsü, özgün Mamba mimarisini temel alan ilk genel amaçlı büyük ölçekli saf durum uzayı dili modeli Falcon Mamba-7B'yi duyurdu. Kararlı eğitim sağlamak için fazladan RMS normalizasyon katmanları eklenen bu model, geleneksel transformer modellerinin aksine sekans uzunluğu arttıkça hesaplama ve bellek maliyetlerinin büyümesi sorununu ortadan kaldırıyor. Model, tek bir A10 24GB grafik işlemcisine sığabilecek şekilde herhangi bir bellek artışı yaşamadan rastgele uzunluktaki sekansları işleyebiliyor. Ayrıca Hugging Face ekosisteminde erişime açılan modelin, 5 milyar token ek denetimli ince ayar verisiyle eğitilmiş komut uyumlu sürümü de sunuluyor.
Neden önemli?
Geleneksel transformer mimarileri, dikkat mekanizmasından ötürü büyük sekansları işlerken bellek ve hesaplama maliyetleri açısından sınırlamalara takılırken, Falcon Mamba bu sorunu aşarak geliştiricilere ve araştırmacılara yeni bir alternatif sunuyor. Yeni model sayesinde bağlam boyutu büyüse bile yeni bir token üretmek sabit bir süre alıyor ve bellek tüketimi artmıyor.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacılar ve geliştiriciler, Hugging Face ekosistemi içerisindeki AutoModelForCausalLM veya boru hattı arayüzlerini kullanarak Falcon Mamba modelini kendi uygulamalarına entegre edebilir.
- Olası kullanım: Bellek kısıtlaması olan durumlarda bitsandbytes nicemleme özellikleri kullanılarak model daha küçük grafik işlemcisi belleklerinde çalıştırılabilir.
- Olası kullanım: torch.compile desteği ile yüklenen model üzerinden daha hızlı çıkarım elde edilebilir.
Somut sonuçlar ve kanıtlar
- Falcon Mamba-7B modeli, yeni liderlik tablosunun sürümündeki değerlendirmelerde ortalama 15.04 puan elde etti. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model büyük boyutlu olduğundan, bitsandbytes nicemleme gibi özellikler kullanılsa bile uyumlu bir grafik işlemcisine ihtiyaç duyulmaktadır. Sınırlamalar, erişim koşulları veya maliyetler hakkında başka bir ayrıntı kaynakta belirtilmiyor.