Meta Tarafından Yerel ve Çok Modüllü Ajan İş Akışları İçin Geliştirilen 30 Milyar Parametreli Muse Glimmer Model Duyurusu
Kaynak: huggingface.co ·
Meta, gizlilik odaklı uygulamalar ve yerel ajan görevleri için tasarlanmış 30 milyar parametrelik açık kaynaklı çok modüllü model Muse Glimmer'ı Apache 2.0 lisansıyla piyasaya sürdü. Model, 2 milyar parametrelik görüntü kodlayıcı ile 28 milyar parametrelik metin kod çözücüyü hibrit dikkat mekanizması ve gruplanmış sorgu dikkati mimarisiyle birleştiriyor. transformers, llama.cpp ve vLLM kütüphaneleri için ilk gün desteğiyle gelen model, DFlash tabanlı hızlandırıcı kullanarak kodlama gibi yapılarda daha hızlı üretim sunuyor. Geliştiriciler modeli yerel olarak çalıştırabilir, Hugging Face Inference Endpoints üzerinden ölçeklendirebilir veya TRL ile ince ayar yapabilir.
Neden önemli?
Önceki duruma kıyasla bu model, 30 milyar parametre ölçeğinde gizlilik odaklı uygulamalar, kodlama ve belge analizi gibi yerel ajan iş akışlarını bulut bağımlılığı olmadan çalıştırmayı sağlar. Açık kaynaklı Apache 2.0 lisansıyla sunulması, geliştiricilerin maliyetleri düşürmesine ve altyapı üzerinde tam kontrol sahibi olmasına olanak tanır.
Bununla neler yapılabilir?
- Olası kullanım: Gizliliği korumak veya maliyetleri düşürmek amacıyla modeli kendi donanımınızda yerel olarak çalıştırarak kişisel asistan veya kodlama aracı olarak kullanmak.
- Olası kullanım: Hugging Face Inference Endpoints kullanarak barındırılan ve OpenAI uyumlu sohbet tamamlama API'sine sahip ölçeklenebilir bir dağıtım kurmak.
- Olası kullanım: TRL kullanarak küçük veri setleri üzerinde modelin ince ayarını yapmak ve yapay zeka ajanlarının kendi kendilerini optimize etmesini sağlamak.
Somut sonuçlar ve kanıtlar
- Muse Glimmer-30B, MCP Atlas benchmark testinde 75.5 puan almıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modelin tam potansiyeliyle yerel çalıştırılması ve ince ayarının yapılması, Hopper sınıfı 80GB VRAM kapasiteli ekran kartları gibi güçlü donanım gereksinimleri doğurabilir; tam ince ayar için birden fazla GPU gerekebilir.