Yapay Zeka Değerlendirmelerini Birleştiren Every Eval Ever ve Hugging Face Topluluk Değerlendirmeleri Entegrasyonu
Kaynak: huggingface.co ·
Every Eval Ever ve Hugging Face Topluluk Değerlendirmeleri, yapay zeka değerlendirme sonuçlarının raporlanmasındaki tutarsızlıkları gidermek için birbirleriyle uyumlu hale getirildi. Bu entegrasyon sayesinde, değerlendirme sonuçları hem standart bir JSON şemasıyla veri tabanında toplanıyor hem de Hugging Face model sayfaları ve kıyaslama liderlik tablolarında otomatik olarak paylaşılıyor. Geliştirilen dönüştürücü aracı, mevcut verileri işleyerek yerel YAML önizlemeleri oluşturuyor ve kullanıcı onayıyla doğrudan çekme istekleri açıyor. Böylece farklı platformlardaki dağınık ve uyumsuz değerlendirme sonuçları tek bir çatı altında birleştiriliyor.
Neden önemli?
Yapay zeka modellerinin kapasitelerini, güvenliklerini ve başarılarını kıyaslamak, sonuçlar farklı biçimlerde ve dağınık yerlerde saklandığı için zorluk yaratıyordu. Bu araç, araştırmacıların, geliştiricilerin ve politikacıların modelleri daha güvenilir ve şeffaf bir şekilde değerlendirmesini sağlayarak, tekrarlanan maliyetlerin önüne geçiyor ve sonuçların izlenebilirliğini artırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacılar, geliştirdikleri yapay zeka modellerinin değerlendirme sonuçlarını tek bir JSON şemasıyla veri tabanına gönderip Hugging Face model sayfalarında otomatik olarak sergileyebilir.
- Olası kullanım: Geliştiriciler, dönüştürücü aracını kullanarak mevcut değerlendirme verilerini desteklenen kıyaslamalarla eşleştirebilir ve topluluk liderlik tablolarına kolayca katkı sunabilir.
Somut sonuçlar ve kanıtlar
- Every Eval Ever veri tabanı, 31 farklı raporlama formatından çekilen verilerle 22.000'den fazla model ve 2.200'den fazla kıyaslama üzerinde yaklaşık 229.000 değerlendirme sonucuna ulaştı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Dönüştürücü aracı şu anda MMLU-Pro, GPQA, HLE ve GSM8K olmak üzere yalnızca dört resmi kıyaslamayı desteklemektedir. Araç doğrudan otomatik olarak gönderim yapmamakta, kullanıcı onayı gerektirmektedir.