JetBrains Tarafından Geliştirilen 12 Milyar Parametreli Mellum2 Uzmanlar Karışımı Modeli Tanıtıldı
Kaynak: huggingface.co ·
JetBrains, doğal dil ve kod görevleri için sıfırdan eğitilmiş olan 12 milyar parametreli Mellum2 Uzmanlar Karışımı modelini duyurdu. Her token için yalnızca 2.5 milyar parametre aktive eden bu yapı, yüksek veri akışı ve düşük gecikmeli çıkarım sağlamak amacıyla optimize edilmiştir. Apache 2.0 lisansıyla yayımlanan model, kod üretimi, muhakeme, bilim ve matematik kıyaslamalarında benzer boyutlardaki açık modellerle rekabet ederken çıkarım hızında 2 kattan fazla performans sunmaktadır. Model; yönlendirme, bilgi tabanlı getirme, özetleme, alt aracı görevleri ve özel sunucu kurulumları için tasarlanmıştır.
Neden önemli?
Mellum2, modern yapay zeka mimarilerinde her işlem için en büyük ve maliyetli modellerin çağrılması zorunluluğunu azaltır. Yüksek frekanslı ve gecikmeye duyarlı iş akışlarında daha hızlı ve ekonomik bir odak model sunarak yazılım mühendisliği ekiplerinin sistem maliyetlerini düşürmesine yardımcı olur.
Bununla neler yapılabilir?
- Olası kullanım: Çoklu model sistemlerinde istek sınıflandırma, araç seçimi ve ara akış kontrolü için hafif bir yönlendirme ve düzenleme modeli olarak değerlendirilebilir.
- Olası kullanım: İçerik sıkıştırma, özetleme ve getirme sonrası işleme gibi gecikmeye duyarlı bilgi tabanlı getirme işlem hatlarında çalıştırılabilir.
- Olası kullanım: Büyük modelleri çağırma ihtiyacını azaltmak amacıyla planlama, doğrulama, dönüştürme ve bağlam hazırlama gibi yapay zeka alt ajan görevlerinde kullanılabilir.
Somut sonuçlar ve kanıtlar
- Üreticiye göre Mellum2, her token için sadece 2.5 milyar parametre aktive ederek benzer boyutlu modellere kıyasla 2 kattan daha hızlı çıkarım sağlar. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model sadece metin ve kod odaklıdır, çok modlu görevleri desteklemez. Doğal dil proje geliştirmede bazı kullanıcılar tarafından yetersiz bulunduğu bildirilmiştir.