Transformers Kod Ajanı GAIA Test Kümesinde Başarı Elde Etti
Kaynak: huggingface.co ·
Geliştirilen kod tabanlı ajan çerçevesi, en kapsamlı ajan test kümesi olan GAIA üzerinde doğrulanmış sonuçlar elde etti. Yapılan testlerde Python kodunu doğrudan üreten ve yürüten sistem, doğrulama kümesinde 44.2% skor elde ederek öne çıktı. Bu yaklaşım, eylemleri ifade etmek için JSON yerine kod kullanımının daha az adım gerektirdiğini ve maliyetleri düşürdüğünü gösterdi. Ayrıca geliştirilen kod yorumlayıcısı, güvenlik için soyut sözdizimi ağacı tabanlı bir yaklaşım kullanarak sadece onaylanan Python işlevlerinin çalıştırılmasına izin veriyor. Çerçeve artık bağımsız bir kütüphane olan smolagents adıyla kullanılabilir durumda.
Neden önemli?
Yapay zeka ajanlarının karmaşık iş akışlarında JSON formatı yerine kod tabanlı eylemler üretmesi, süreçlerin daha kısa adımlarla ve daha düşük maliyetle çalışmasını sağlıyor. Bu gelişme, ajan sistemleri geliştiren araştırmacılara ve mühendislere daha güvenli ve okunaklı günlükler sunarken performans artışı da sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Dosya inceleme aracı ve görselleştirici kullanarak ekli belgelerdeki metinleri ve görselleri ayrıştırmak.
- Olası kullanım: Çoklu ajan düzenlemesi ile yönetici ajanın alt görevleri web arama ajanına devretmesi.
- Olası kullanım: Python tabanlı kod yorumlayıcı yardımıyla harici araçları güvenli bir şekilde çağırarak karmaşık adımları yürütmek.
Somut sonuçlar ve kanıtlar
- Doğrulama kümesinde 44.2% skor elde edilerek ilk sırada yer alındı. (Üreticinin açıklaması)
- Test kümesinde 33.3% skorla ikinci sırada yer alındı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Gönderim GPT-4o kullanılarak yapılmıştır ve henüz ince ayar uygulanmamıştır. Web tarayıcı aracı şu an için javascript yükleyememekte ve çerez banner'larını geçememektedir.