IBM ve UC Berkeley Kurumsal Yapay Zeka Ajanlarının IT-Bench ve MAST ile Başarısızlık Nedenlerini İnceledi
Kaynak: huggingface.co ·
IBM Research ve UC Berkeley, gerçek dünya BT otomasyonunda yapay zeka ajan sistemlerinin neden başarısız olduğunu incelemek için iş birliği yaptı. SRE, Güvenlik ve FinOps otomasyonu için endüstri standardı olan ITBench üzerinde 310 SRE yürütme izi, MAST (Çok Ajanlı Sistem Hata Taksonomisi) kullanılarak incelendi. Araştırmacılar, ham yürütme izlerini yapılandırılmış hata imzalarına dönüştürerek modellerin nasıl bozulduğunu analiz etti. Çalışma, farklı model sınıflarının (Gemini-3-Flash, Kimi-K2 ve GPT-OSS-120B) çok farklı hata profilleri sergilediğini ortaya koydu.
Neden önemli?
Geleneksel kıyaslama testleri başarı oranını tek bir sayıya indirgeyerek ajanın neden başarısız olduğunu gizler. Bu araştırma, geliştiricilerin körlemesine komut değiştirmek yerine tam olarak nerenin bozulduğunu görmesini ve hedefe yönelik mühendislik kararları almasını sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Doğrulama hatalarını önlemek için ajanın kendi ödevini not etmesine izin vermek yerine harici araç kanıtları zorunlu kılınabilir.
- Olası kullanım: Görev sonlandırma sorunlarını çözmek için model kontrolü dışına sonlandırma ve döngü denetimleri veya Sonlu Durum Makineleri eklenebilir.
Somut sonuçlar ve kanıtlar
- Gemini-3-Flash, başarısız koşturmalarda iz başına ortalama 2.6 hata modu gösterirken, GPT-OSS-120B iz başına 5.3 hata modu ile kademeli çöküş yaşar. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma yalnızca 310 ITBench SRE yürütme izi ve üç model sınıfı (Gemini-3-Flash, Kimi-K2 ve GPT-OSS-120B) ile sınırlıdır; bulgular tüm yapay zeka uygulamalarına veya farklı alanlara doğrudan genellenmeyebilir.