Teknoloji İnovasyon Enstitüsü Tarafından 10 Milyar Parametrenin Altında Geliştirilen Açık Kaynaklı Falcon3 Ailesi Tanıtıldı
Kaynak: huggingface.co ·
Teknoloji İnovasyon Enstitüsü (TII), 10 milyar parametrenin altında beş temel modelden oluşan açık kaynaklı Falcon3 büyük dil modeli ailesini duyurdu. Bilim, matematik ve kod yeteneklerini genişletmeyi amaçlayan bu seri; tek seferlik büyük ölçekli ön eğitim, bilgi damıtma ve derinlik artırma gibi yeniliklerle geliştirildi. Model ailesi, 32 bin tokene kadar destekleyen bağlam uzunluğu ve Instruct, GGUF, GPTQ ile 1.58-bit gibi farklı varyant seçenekleri sunuyor.
Neden önemli?
Küçük ve orta ölçekli açık kaynaklı modellerin verimliliğini artıran bu sürüm, daha az maliyetle gelişmiş muhakeme ve bilimsel bilgi kapasitesi sunuyor. Geliştiriciler ve araştırmacılar, Llama mimarisiyle uyumlu bu modellere HuggingFace üzerinden erişerek çeşitli uygulamalarda esneklikten faydalanabiliyor.
Bununla neler yapılabilir?
- Olası kullanım: Karmaşık matematiksel problemlerin çözümünde ve veri analitiğinde Falcon3-10B-Base modelinden yararlanma.
- Olası kullanım: Bilgisayar programlama görevlerinde genelleme yapabilen kod üretimi için Falcon3-10B-Instruct modelini entegre etme.
- Olası kullanım: Uzun metin işleme ve bağlam gerektiren görevlerde 32 bin token bağlam desteği sağlayan modelleri kullanma.
Somut sonuçlar ve kanıtlar
- Üreticiye göre Falcon3-10B-Base modeli MATH-Lvl5 testinde 22.9 ve GSM8K testinde 83.0 puan elde etmiştir. (Üreticinin açıklaması)
- Üreticiye göre Falcon3-10B-Base modeli MBPP testinde 73.8 puan alırken, Falcon3-10B-Instruct modeli Multipl-E testinde 45.8 puan almıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modellerin değerlendirmeleri üreticinin dahili değerlendirme boru hattına dayanmaktadır ve bazı varyantlar (1B modeli gibi) 8 bin token bağlam uzunluğu ile sınırlıdır.