Arapça ve İbranice Dil Modelleri İçin Kapsamlı Karşılaştırma ve Değerlendirme Liderlik Tabloları Yayınlandı
Kaynak: huggingface.co ·
Araştırmacılar, Arapça ve İbranice dillerine özgü dil modellerinin değerlendirilmesi amacıyla yeni liderlik tabloları ve veri setleri yayınladı. İbranice için kök tabanlı morfolojiye odaklanan dört yeni veri seti geliştirilirken, Arapça alanında ise AraGen-03-25 sürümü ve Arapça Yönerge Takibi liderlik tablosu duyuruldu. Bu yeni platformlar, modellerin hem dilsel karmaşıklıkları anlama yeteneğini hem de sohbet kalitesini standart bir şekilde ölçmeyi hedefliyor.
Neden önemli?
Daha önce standart değerlendirme araçları genellikle İngilizce gibi daha yaygın dillere odaklandığından, morfolojik açıdan zengin Arapça ve İbranice gibi düşük kaynaklı dillerde modellerin gerçek performansını ölçmek zordu. Bu çalışma, bu dillerde geliştirme yapan araştırmacılara ve geliştiricilere modellerini adil ve isabetli bir şekilde karşılaştırma imkanı sunarak yerel dil teknolojilerinin gelişimini hızlandırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Geliştiriciler, Arapça veya İbranice sohbet asistanlarının karmaşık dilbilgisi kurallarına ve özel biçimlendirme yönergelerine ne kadar sadık kaldığını bu yeni testlerle değerlendirebilir.
- Olası kullanım: Araştırmacılar, açık kaynaklı dil modellerinin duygu analizi, soru-cevaplama ve metin çevirisi gibi dile özel görevlerdeki başarımlarını karşılaştırabilir.
Somut sonuçlar ve kanıtlar
- AraGen-03-25 sürümünde o1-2024-12-17 modeli 3C3H değerlendirme ölçütüne göre SP1 senaryosunda %69.49 skorla ilk sırada yer almıştır. (Üreticinin açıklaması)
- Arapça Yönerge Takibi testinde claude-3.5-sonnet modeli Arapça komutları tam uygulama başarısında %72.5 oranına ulaşmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Değerlendirmeler belirli veri setleri ve otomatik yargıç modellerin kısıtları çerçevesinde yapılmıştır; sıfırlama kuralı nedeniyle yanlış cevaplanan sorularda diğer boyutlar değerlendirilmemiştir.