Alyah Karşılaştırma Düzeyi: Arapça Büyük Dil Modellerinde BAE Lehçesi ve Kültürel Yetkinliğin Ölçülmesi
Kaynak: huggingface.co ·
Mevcut yapay zeka karşılaştırma düzeylerinin genellikle Modern Standart Arapça odaklı kalması nedeniyle, BAE lehçesini ve kültürel bağlamı test etmek üzere Alyah adlı yeni bir karşılaştırma düzeyi tanıtıldı. Yerli konuşmacılardan manuel olarak derlenen 1.173 çoktan seçmeli örnek içeren bu set, aralarında temel ve yönergeye göre ayarlanmış sürümlerin bulunduğu 54 dil modelinin performansını değerlendirmek için kullanıldı. Yapılan testler sonucunda, yönergeye göre ayarlanmış modellerin genel olarak temel modellere kıyasla daha iyi performans gösterdiği, ancak genel çok dilli eğitimin tek başına derinlemesine lehçe bilgisi sağlamakta yetersiz kalabildiği görüldü.
Neden önemli?
Bu çalışma, yapay zeka modellerinin yerel kültürleri, deyimleri ve günlük konuşma dilini ne kadar iyi anladığını ölçerek daha kapsayıcı sistemlerin geliştirilmesine öncülük eder. Bölgesel kullanıcılar, yerel kurumlar ve Arapça konuşan topluluklar için yapay zeka asistanlarının kültürel uyumunu artırır.
Bununla neler yapılabilir?
- Olası kullanım: BAE lehçesindeki kültürel ifadeleri, deyimleri ve yerel selamlaşmaları içeren yapay zeka modellerinin pratik diyalog yeteneklerinin test edilmesi
- Olası kullanım: Bölgesel tarih ve miras bilinci gerektiren uygulamalar için en uygun dil modelinin seçilmesi
Somut sonuçlar ve kanıtlar
- Alyah karşılaştırma düzeyinde 54 dil modeli değerlendirilmiş olup, yönergeye göre ayarlanmış falcon-h1-arabic-7b-instruct modeli %82.18 doğruluk oranına ulaşmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma yalnızca BAE lehçesini kapsamakta olup, diğer Arapça lehçelerini veya dillerini temsil etmemektedir. Soruların zorluk dereceleri model performanslarına dayalı olarak ampirik şekilde tahmin edilmiştir.