Arapça Büyük Dil Modellerini Fen, Teknoloji, Mühendislik, Matematik ve Kodlama Alanlarında Değerlendiren 3LM Karşılaştırma Düzeyi Tanıtıldı
Kaynak: huggingface.co ·
Arapça büyük dil modellerinin fen, teknoloji, mühendislik, matematik ve kodlama alanındaki yeteneklerini değerlendirmek amacıyla 3LM adında çok bileşenli yeni bir karşılaştırma düzeyi geliştirildi. Bu çalışma, gerçek eğitim materyallerinden derlenen yerel fen soruları, yapay olarak üretilen orta-yüksek zorlukta fen soruları ve Arapçaya uyarlanmış kod üretimi ölçütlerini bir araya getiriyor. 40'tan fazla modelin incelendiği değerlendirmelerde Qwen2.5-72B-Instruct ve Gemma-3-27B gibi modeller öne çıkarken, GPT-4o kod üretim testlerinde en yüksek başarıyı gösterdi. Araştırmacılar, bu açık kaynaklı veri setleri ve araçlar sayesinde Arapça dil modellerinin yapısal mantık ve bilimsel akıl yürütme becerilerinin test edilebileceğini belirtiyor.
Neden önemli?
Mevcut değerlendirme araçları genellikle genel amaçlı görevlere odaklandığı için Arapça dil modellerinin teknik alanlardaki yetersizliklerini ölçmede yetersiz kalıyordu. Bu yeni karşılaştırma düzeyi, eğitim ve teknik problem çözme gibi kritik alanlarda modellerin gerçek performansını görmek isteyen araştırmacılar ve geliştiriciler için önemli bir eksikliği gideriyor.
Bununla neler yapılabilir?
- Olası kullanım: 8 ile 12. sınıflar arasındaki fizik, kimya, biyoloji, matematik ve coğrafya müfredatına ait 865 adet çoktan seçmeli soru kullanılarak Arapça modellerin fen bilimleri kavramsal anlaması test edilebilir.
- Olası kullanım: HumanEval+ ve MBPP+ ölçütlerinin Arapçaya çevrilmiş sürümleri kullanılarak dil modellerinin doğal dil komutlarından kod üretme yetenekleri değerlendirilebilir.
Somut sonuçlar ve kanıtlar
- Qwen2.5-72B-Instruct, yerel fen bilimleri alt kümesinde %71.8 ve sentetik fen bilimleri alt kümesinde %67.0 doğruluk oranı elde etti. (Üreticinin açıklaması)
- GPT-4o, HumanEval-ar testinde %83.5 ve MBPP-ar testinde %63.6 pass@1+ skoru ile kod üretiminde en iyi performansı gösterdi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma yalnızca 40'tan fazla modelin çoktan seçmeli doğruluk ve üretim tamamlama metrikleri ile değerlendirilmesini kapsamaktadır; tüm zor problemlerin çözüldüğü anlamına gelmez.