Büyük Dil Modelleri ile Görsel Soru-Cevap Değerlendirmesinde İnsan Yargısıyla Daha Uyumlu Yeni Yöntem
Kaynak: huggingface.co ·
Görsel Soru-Cevap testlerinde kullanılan geleneksel tam eşleşme doğruluğu, açık uçlu ve dağılım dışı modellerin performansını eksik değerlendirmektedir. Bu sorunu çözmek için büyük dil modellerinin bağlam içi öğrenme yeteneklerini kullanan LAVE adlı yeni bir otomatik değerlendirme yöntemi geliştirilmiştir. Önerilen bu metot, adayın verdiği yanıtı soru ve insan onaylı referans yanıtlarla kıyaslayarak derecelendirme görevi olarak formüle eder. Yapılan testlerde, LAVE yönteminin insan yargısıyla korelasyonunun geleneksel ölçütlere kıyasla daha yüksek olduğu gösterilmiştir.
Neden önemli?
Mevcut değerlendirme metrikleri çok katı olduğu için doğru olan ancak farklı biçimlendirilen veya eş anlamlı kelimeler içeren yanıtlar hatalı kabul edilmektedir. Geliştirilen yeni yaklaşım, görsel dil modellerinin gerçek başarı seviyesini daha doğru ölçerek araştırmacıların ve geliştiricilerin modellerini daha güvenilir şekilde kıyaslamasını sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Açık uçlu görsel soru-cevap modellerinin test aşamasında insan yargısıyla uyumlu otomatik puanlama yapılması.
- Olası kullanım: Metin tabanlı ve biçimsel farklılıklar içeren eş anlamlı yanıtların esnek bir şekilde doğru olarak kabul edilmesi.
Somut sonuçlar ve kanıtlar
- LAVE yöntemi, test edilen veri setleri ve modeller genelinde mevcut tüm temel metriklerden daha yüksek bir insan yargısı korelasyonu sunmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma, açık uçlu yanıtların değerlendirilmesinde iyileşme sağlasa da, bazı belirsiz sorularda ve modelin ürettiği aşırı genel ya da öznel yanıtların doğru sınıflandırılmasında dil modellerinin sınırlarıyla karşılaşabilmektedir.