Küçük Boyutlu Dil Modelleri Ailesi SmolLM ve Yeni Eğitim Veri Setleri Tanıtıldı
Kaynak: huggingface.co ·
135 milyon, 360 milyon ve 1,7 milyar parametre boyutlarına sahip yeni küçük dil modelleri ailesi SmolLM duyuruldu. Bu modeller, yüksek kaliteli sentetik ders kitapları, eğitici web örnekleri ve kod verilerinden oluşan SmolLM-Corpus üzerinde eğitildi. Yayınlanan verilere göre bu modeller, kendi boyut kategorilerindeki diğer açık kaynaklı modellere kıyasla güçlü bir performans dengesi sunuyor. Geliştirilen modeller akıllı telefonlar ve dizüstü bilgisayarlar gibi yerel cihazlarda çalıştırılabiliyor.
Neden önemli?
Küçük dil modelleri, bulut maliyetlerini düşürürken kullanıcı gizliliğini koruyor ve akıllı telefon gibi yerel cihazlarda çalışabiliyor. Bu duyuru, bu modellerin arkasındaki veri derleme süreçlerini ve eğitim detaylarını şeffaf hale getiriyor.
Bununla neler yapılabilir?
- Olası kullanım: Akıllı telefonlar ve dizüstü bilgisayarlar gibi uç cihazlarda internet bağlantısına ihtiyaç duymadan yerel dil modeli çalıştırma.
- Olası kullanım: Eğitici sentetik veri setleri ve filtrelenmiş kod verileri kullanarak özel küçük dil modelleri eğitme.
Somut sonuçlar ve kanıtlar
- Python-Edu veri seti ile eğitilen model, filtrelenmemiş Python koduna göre 3 kattan daha hızlı yakınsayarak sadece 12 milyar token sonrasında %16 pass@1 oranına ulaştı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modellerin bağlam uzunluğu 2048 token ile sınırlıdır; ancak uzun bağlam ince ayarı ile bu uzunluk artırılabilir. Eğitim ve değerlendirme sonuçları belirli kıstas testlerine dayanmaktadır.