Adyen ve Hugging Face Ortaklığıyla Çok Adımlı Veri Analizi Değerlendirmesi İçin DABstep Duyuruldu
Kaynak: huggingface.co ·
Adyen ve Hugging Face, yapay zeka modelleri ve veri ajanlarının çok adımlı akıl yürütme becerilerini ölçmek amacıyla DABstep adlı yeni bir veri analizi kıyaslama testi geliştirdi. Gerçek dünya iş yüklerinden türetilen 450'den fazla veri analizi görevi içeren bu test, yapay zeka modellerinin hem yapılandırılmış hem de yapılandırılmamış verilerle çalışabilme, hata yapmama ve ardışık problem çözme yeteneklerini sınamaktadır. Yapılan ilk değerlendirmelerde en başarılı akıl yürütme tabanlı ajanlar %16 doğruluk oranına ulaşırken, standart sohbet modelleri daha düşük skorlar elde etmiştir. Bu çalışma, yapay zeka ajanlarının gerçekçi veri analizi iş akışlarındaki mevcut sınırlamalarını ortaya koymaktadır.
Neden önemli?
Veri analizi rutin sorgulardan karmaşık iş akışlarına kadar uzanan, yüksek bilişsel yük gerektiren zorlu bir süreçtir. DABstep, yapay zeka ajanlarının bu alandaki gerçek performansını ölçerek finans ve benzeri veri odaklı sektörlerde rutin işleri otomatikleştirecek sistemlerin geliştirilmesine rehberlik eder ve araştırmacılara standart bir karşılaştırma düzeyi sunar.
Bununla neler yapılabilir?
- Olası kullanım: Yapay zeka ajanlarının ödeme verilerindeki dolandırıcılık eğilimlerini tespit edip birden fazla veri kaynağını birleştirerek en düşük maliyetli senaryoyu hesaplaması.
- Olası kullanım: Karmaşık şema ücretlerini ve işyeri kategorilerini analiz eden çok adımlı kod yürütme döngülerinin otomatik olarak test edilmesi.
Somut sonuçlar ve kanıtlar
- En yetenekli akıl yürütme tabanlı ajanlar DABstep üzerinde yalnızca %16 doğruluk oranına ulaşmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Mevcut görevler dar kapsamlıdır ve ağırlıklı olarak dolandırıcılık ile ödeme ücretleri gibi finansal alanlarla sınırlıdır. Ayrıca test edilen modellerin standart ve optimize edilmemiş komut istemleriyle çalıştırıldığı, bu nedenle sonuçların alt sınır teşkil ettiği belirtilmiştir.