Yapılandırılmış Kod Ajanları, Yapay Zeka Ajan Eylemlerinde Güvenilirlik ve Performansı Artırıyor
Kaynak: huggingface.co ·
Araştırma, yapay zeka ajan tasarımında kod tabanlı eylemler ile yapılandırılmış üretim yaklaşımlarını birleştiriyor. Kod ajanlarının hem düşünce hem de kodu yapılandırılmış bir JSON biçiminde üretmeye zorlanması, birden fazla kıyaslama testinde geleneksel yaklaşımları geride bırakıyor. Üreticiye göre, bu yapılandırılmış yaklaşım güçlü modellerde normal kod ajanı yaklaşımına kıyasla ortalama 2 ila 7 yüzde puanı daha yüksek performans gösteriyor. Yapılandırılmış nesil, Markdown biçimlendirme hatalarından kaynaklanan ilk adım çözümleme hatalarını ortadan kaldırarak genel ajan güvenilirliğini artırıyor.
Neden önemli?
Geleneksel JSON tabanlı ajanlar eylemleri önceden tanımlanmış araçlarla sınırlar ve durum yönetiminde zorlanır. Kod ajanları ise esneklik sunar ancak Markdown kod ayrıştırma hatalarına açıktır. Yapılandırılmış JSON kullanımı, planlama ile yürütmeyi ayırarak ve mantıksal hataları erken yakalayarak karmaşık akıl yürütme görevlerindeki hata oranlarını azaltır. Bu durum geliştiriciler ve ajan tabanlı iş akışları oluşturan ekipler için daha güvenilir ve hatasız otomasyon sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Karmaşık web arama ve veri işleme görevlerini döngüler ve koşullu ifadeler içeren Python kodu yazarak tek adımda yürütmek
- Olası kullanım: Araç çıktılarını adlandırılmış değişkenler olarak saklayıp sonraki adımlarda doğrudan referans vererek çok adımlı veri analizi yapmak
Somut sonuçlar ve kanıtlar
- Yapılandırılmış yaklaşım, yetenekli modellerde normal kod ajanı yaklaşımını ortalama 2 ila 7 yüzde puanı aşmıştır. (Üreticinin açıklaması)
- İlk çağrısında çözümleme hatası olmayan ajan izleri, hatası olanlara göre %21.3 daha yüksek başarı oranına sahiptir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Küçük modellerde JSON biçimlendirmesi, Python sözdizimi ve problem çözme mantığının aynı anda yönetilmesi 'yapı vergisi' adı verilen bilişsel yük yaratmakta ve sözdizimi hatalarına yol açmaktadır. Araştırma sonuçları küçük modellerde başarı sağlamayabilir ve en iyi sonuçlar 32B+ parametreli veya öncü modellerde elde edilmektedir.