IBM, Yaklaşık 15 Trilyon Token Üzerinde Eğitilen Yeni Açık Kaynaklı Yoğun Dil Modeli Ailesi Granite 4.1'i Tanıttı
Kaynak: huggingface.co ·
IBM, 3B, 8B ve 30B boyut seçenekleriyle gelen ve Apache 2.0 lisansıyla paylaşılan yeni yoğun dil modeli ailesi Granite 4.1'i duyurdu. Modeller, yaklaşık 15 trilyon token üzerinde gerçekleştirilen beş aşamalı bir ön eğitim sürecinden geçirildi ve bağlam penceresi 512K token değerine kadar genişletildi. SFT aşamasında yaklaşık 4,1 milyon yüksek kaliteli örnek, geliştirilen bir yapay zeka hakem çerçevesiyle filtrelenirken, ardından çok aşamalı pekiştirmeli öğrenme boru hattı uygulandı. Yayınlanan 8B boyutundaki komut modeli, daha büyük karmaşık yapıdaki önceki nesil modellere kıyasla rekabetçi veya üstün sonuçlar ortaya koyuyor.
Neden önemli?
Bu sürüm, küçük ölçekli ve yoğun mimarili dil modellerinin veri kalitesi ve titiz bir eğitim boru hattıyla çok daha büyük modellerin performansına ulaşabileceğini gösteriyor. Uzun bağlam desteği, tahmin edilebilir gecikme süreleri ve Apache 2.0 lisansı sayesinde kurumsal iş yükleri için maliyet kontrolü ve güvenilirlik sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: 512K token uzunluğundaki bağlam penceresi ve araç çağırma yetenekleriyle kurumsal doküman analizi ve otomasyon iş akışları geliştirme.
- Olası kullanım: 8B yoğun model mimarisiyle donanım maliyetlerini düşürerek matematik ve kodlama görevlerini optimize etme.
Somut sonuçlar ve kanıtlar
- Üreticiye göre, Granite 4.1 ailesi 3B, 8B ve 30B yoğun, yalnızca kod çözücü mimariyle yaklaşık 15 trilyon token üzerinde eğitilmiş ve bağlam penceresi 512K token uzunluğuna çıkarılmıştır. (Üreticinin açıklaması)
- Üreticiye göre, 8B komut modeli, daha az parametreye sahip daha basit bir yoğun mimari kullanmasına rağmen önceki nesil 32B MoE modelinin performansını yakalamakta veya aşmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modellerin performansı sağlanan veri kalitesine ve kullanılan donanım altyapısına bağlıdır. Uzun bağlam testi sonuçları model boyutlarına göre değişiklik göstermektedir.