SemiAnalysis GDPx Karşılaştırma Düzeyi Yapay Zeka Ajanlarının Gerçek Dünya Görevlerindeki Düşük Başarımını Gösterdi
Kaynak: the-decoder.com ·
Analytics firması SemiAnalysis, yapay zeka ajanlarını profesyonel yazılımlar ve gerçekçi çalışma ortamlarında test eden GDPx karşılaştırma düzeyini yayınladı. 206 görevi kapsayan testlerde hiçbir model yüzde 12 başarının üzerine çıkamazken, Claude Opus 5.5 yüzde 12 ile liderliği aldı. Modellerin finans, hukuk ve siber güvenlik gibi alanlardaki zayıflıkları detaylı olarak raporlandı. Ayrıca güvenlik filtrelerinin ve kapalı test yapısının değerlendirme sonuçlarını doğrudan etkilediği belirtildi.
Neden önemli?
Bu çalışma, yapay zeka ajanlarının laboratuvar dışındaki karmaşık ve çok saat süren gerçek dünya iş akışlarında ne kadar yetersiz olduğunu somut bir şekilde ortaya koyuyor. Şirketler ve geliştiriciler, modellerin optimizasyon ve güvenlik filtreleri nedeniyle gerçek performans kayıplarını daha net görebiliyor.
Bununla neler yapılabilir?
- Olası kullanım: Profesyonel yazılım operasyonları gerektiren simüle edilmiş bilgi işi görevlerinde yapay zeka ajanlarının başarı ve hata oranlarını test etmek.
- Olası kullanım: Finans, hukuk ve nicel ticaret alanlarındaki karmaşık iş akışlarında ajanların davranış kurallarına uyumunu denetlemek.
Somut sonuçlar ve kanıtlar
Sınırlar ve açık kalan sorular
Test görevlerinin çoğu kapalı kapılar ardında tutulduğu ve uzman değerlendirmeleri dil modellerine dayandırıldığı için dışarıdan tam olarak doğrulama yapılamıyor. Ayrıca her modelin kendi sağlayıcısının ajan yazılımıyla çalışması eşitsiz koşullar yaratabiliyor ve alt alanlardaki görev sayısının az olması sonuçları oynak hale getiriyor.