Baidu, 280 Milyar Parametreli ERNIE 5.5 Flash Base Açık Kaynak Modelini Tanıttı
Kaynak: the-decoder.com ·
Baidu, ince ayar veya eğitim sonrasi optimizasyon içermeyen ERNIE-5.5-Flash-Base isimli açik kaynak temel modelini yayinladi. Model, giriş başına 14 milyar aktif parametre olmak üzere toplam 280 milyar parametreli bir uzman karışımı mimarisi kullanıyor. 33,5 trilyon token ile ön eğitimi yapılan model, 128.000 token eğitim bağlamını desteklerken ince ayar ve çıkarım aşamasında bir milyon tokene kadar destek sağlayacak şekilde tasarlandı. Modelin ağırlıkları Hugging Face üzerinde FP8 ve BF16 formatlarında paylaşildi.
Neden önemli?
İnce ayar geçirmemiş ham bir temel model olarak sunulması, geliştiricilerin modeli kendi ihtiyaçlarına göre şekillendirmesine olanak tanıyor. Bu durum, benzer büyüklükteki açık modellerle rekabet eden yeni bir seçeneğin topluluğa kazandırılması açısından önem taşır.
Bununla neler yapılabilir?
- Olası kullanım: Geliştiriciler modeli kendi verileriyle ince ayardan geçirerek özel uygulamalar tasarlayabilir.
- Olası kullanım: Uzun bağlam desteği gerektiren kodlama ve mantık yürütme görevlerinde model altyapı olarak değerlendirilebilir.
Somut sonuçlar ve kanıtlar
- Baidu'ya göre model, akıl yürütme, kod ve uzun bağlam görevlerinde benzer büyüklükteki DeepSeek V4 Flash veya MiMo V2.5 gibi açık temel modellerle rekabet ediyor. (Kaynak)
Sınırlar ve açık kalan sorular
Model herhangi bir ince ayar veya eğitim sonrasi süreçten geçirilmemiştir; geliştiricilerin modeli nereye götüreceğine kendilerinin karar vermesi beklenmektedir. Eğitimi takip edecek sonrasi eğitilmiş bir versiyonun geleceği belirtilmiştir ancak kesin bir tarih verilmemiştir.