LiveCodeBench Sıralama Tablosu: Kodlama Yeteneklerinin Kirlenmeden Bağımsız Değerlendirilmesi
Kaynak: huggingface.co ·
UC Berkeley, MIT ve Cornell araştırmacılarından oluşan bir ekip tarafından geliştirilen LiveCodeBench sıralama tablosu, büyük dil modellerinin kod üretme ve problem çözme yeteneklerini zaman içinde toplanan verilerle kirlenmeden değerlendirmek üzere duyuruldu. Platform; LeetCode, AtCoder ve CodeForces platformlarından zaman içinde derlenen kodlama problemlerini kullanarak modelleri kod üretimi, kendi kendine onarım, kod yürütme ve test çıktısı tahmini olmak üzere dört senaryoda test ediyor. Çözülen problemlerin çıkış tarihleri etiketlenerek modellerin eğitim kesinti tarihlerine göre esnek zaman pencerelerinde sınanması sağlanıyor ve böylece standart değerlendirmelerdeki veri sızıntısı engelleniyor.
Neden önemli?
Bu sistem, mevcut değerlendirmelerin en büyük sorunlarından biri olan veri kirlenmesini önleyerek modellerin gerçek genelleme yeteneğini ve geleceğin yapay zeka programlama asistanlarının performansını daha güvenilir biçimde ölçmeyi sağlar. Geliştiriciler ve araştırmacılar, modellerini bu tarafsız ve kapsamlı platformda test ederek gerçek dünya kodlama performanslarını detaylıca görebilirler.
Bununla neler yapılabilir?
- Olası kullanım: Büyük dil modellerinin LeetCode, AtCoder ve CodeForces platformlarından derlenen yeni problemler karşısındaki kod üretimi ve fonksiyonel doğruluğunu zaman pencerelerine göre test etmek.
- Olası kullanım: Model hatalarından gelen geri bildirimleri (istisna mesajı veya başarısız test durumu) kullanarak modelin kendi kendine onarım ve hata düzeltme kapasitesini değerlendirmek.
- Olası kullanım: Fonksiyon girdilerini ve kod parçacıklarını kullanarak modellerin kod yürütme ile test çıktısı tahmin başarısını ölçmek.
Somut sonuçlar ve kanıtlar
- GPT-4-Turbo most scenarios'da en iyi performans gösteren model olmuş, self-repair görevlerinde farkı açmıştır. (Üreticinin açıklaması)
- Claude-3-Opus, test çıktısı tahmini senaryosunda GPT-4-Turbo'yu geride bırakmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Değerlendirme sonuçları, seçilen zaman pencerelerine ve kullanılan senaryolara göre değişiklik gösterebilir; ayrıca modellerin performansları farklı senaryolar arasında korelasyon gösterse de sıralamalar değişebilmektedir.