TextQuests: Büyük Dil Modellerinin Etkileşimli Metin Tabanlı Video Oyunlarındaki Performansını Ölçen Yeni Karşılaştırma Düzeyi
Kaynak: huggingface.co ·
Metin tabanlı video oyunları üzerinden büyük dil modellerinin otonom ajan yeteneklerini ölçmek için 25 klasik Infocom oyununu içeren TextQuests adlı yeni bir karşılaştırma düzeyi tanıtıldı. Modellerin uzun bağlamlı akıl yürütme, keşif yoluyla öğrenme ve etik davranış biçimleri iki farklı değerlendirme koşulunda incelendi. Değerlendirme süreçleri ipuçlu ve ipucu olmaksızın en fazla 500 adım boyunca gerçekleştirildi.
Neden önemli?
Statik bilgi testleri yerine dinamik ve etkileşimli ortamlardaki otonom ajan performansını ölçtüğü için yapay zeka sistemlerinin gerçek dünya görevlerindeki yetersizliklerini ve uzun bağlam zayıflıklarını ortaya koyar.
Bununla neler yapılabilir?
- Olası kullanım: Büyük dil modellerinin çok adımlı planlama yapma ve uzun oyun geçmişini hafızada tutma yeteneklerini test etmek.
- Olası kullanım: Yapay zeka ajanlarının deneme-yanılma yoluyla bilinmeyen ortamlarda öğrenme becerilerini değerlendirmek.
Somut sonuçlar ve kanıtlar
- Üreticiye göre TextQuests, insan oyuncuların çözmesi 30 saatten fazla sürebilen ve yüzlerce hassas eylem gerektiren 25 klasik Infocom etkileşimli kurgu oyununa dayanmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Mevcut modellerin bağlam uzunluğu 100 bin tokeni aştığında geçmiş etkileşimleri hayal etme (halüsinasyon), döngüde sıkışma ve mekansal akıl yürütme ile zihinsel harita oluşturma görevlerinde zorluk yaşadığı gözlemlenmiştir. Testler yalnızca metin tabanlı oyun ortamlarıyla sınırlıdır.