İngiltere Güvenlik Enstitüsü ve EvalEval Ortaklığı ile Yapay Zeka Test Sonuçları Açık Veri Olarak Paylaşılıyor
Kaynak: huggingface.co ·
İngiltere Yapay Zeka Güvenlik Enstitüsü (AISI), değerlendirme sonuçlarını daha tekrarlanabilir ve doğrulanabilir hale getirmek için EvalEval altyapısını kullanmaya başladığını duyurdu. Bu işbirliği kapsamında, HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro ve Terminal-Bench 2.0 dahil olmak üzere beş temel testin sonuçları ve yapılandırma bilgileri Evaluation Cards üzerinden paylaşıma açıldı. Yayınlanan veriler Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 ve GPT-5.4 gibi altı öncü modeli kapsıyor. Ortaklık, test sonuçlarının farklı formatlarda ve yetersiz bilgiyle raporlanması sorununa ortak bir şema ile çözüm getirmeyi amaçlıyor.
Neden önemli?
Yapay zeka modellerinin performans testleri genellikle farklı platformlarda ve yeterli detay verilmeden yayınlandığı için sonuçların yeniden üretilmesi zor ve maliyetli oluyordu. Bu ortaklık, test koşulları, bağlam ve yapılandırma bilgilerini ortak bir şemada toplayarak pazarlama odaklı liderlik tablosu ekran görüntülerinin yerini doğrulanabilir ve karşılaştırılabilir verilerin almasını sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacılar ve geliştiriciler, HealthBench veya Terminal-Bench 2.0 gibi testlerde modellerin hangi yapılandırma ve çıkarım hesaplama koşulları altında bu puanları aldığını inceleyebilir.
- Olası kullanım: Politika yapıcılar ve yönetişim uzmanları, Evaluation Cards altyapısını kullanarak farklı öncü modellerin yeteneklerini ortak bir standart üzerinden değerlendirebilir.
Somut sonuçlar ve kanıtlar
- İngiltere Yapay Zeka Güvenlik Enstitüsü (AISI), HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro ve Terminal-Bench 2.0 testlerine ait doğrulanmış sonuçları, bağlamı ve yapılandırma bilgilerini Evaluation Cards aracılığıyla erişime açtı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Paylaşılan sonuçlar belirli öncü modellerle sınırlı olup, her test için gereken çıkarım hesaplama gücü ve değerlendirme protokolü değişiklik gösterebilir. Raporlama standartlarının benimsenmesi ekosistemdeki tüm değerlendiricilerin katılımına bağlıdır.