Adım Adım Düşünme Becerilerini Ölçen Açık Kaynaklı CoT Liderlik Tablosu Tanıtıldı
Kaynak: huggingface.co ·
Yeni duyurulan Açık Adım Adım Düşünme Liderlik Tablosu, büyük dil modellerinin mantık yürütme süreçlerini adım adım oluşturma yeteneğini değerlendirmektedir. Klasik ve Yansıtma olmak üzere iki farklı komut zinciri stratejisi ile altı farklı kod çözme parametresi birleştirilerek modeller test edilmektedir. Liderlik tablosu, mutlak doğruluk oranları yerine adım adım düşünme yaklaşımının model doğruluğuna olan marjinal etkisini ölçmeyi hedeflemektedir. Bu yaklaşım, verilerin ezberlenmesi ve eğitim verisi kirliliği sorunlarına karşı daha dirençli bir değerlendirme altyapısı sunmaktadır.
Neden önemli?
Geleneksel kıyaslama testleri, modellerin sadece ezber yapıp yapmadığını ayırt etmekte yetersiz kalırken, bu yeni liderlik tablosu modellerin karmaşık problemleri çözerken mantık kurma becerilerini şeffaf bir şekilde ortaya koyar. Geliştiriciler ve kullanıcılar, uygulama geliştirirken hangi modelin mantıksal akıl yürütmede daha başarılı olduğunu bu sayede daha doğru seçebilir.
Bununla neler yapılabilir?
- Olası kullanım: Hukuk ve mantık sınavı veri setleri kullanılarak farklı açık kaynaklı dil modellerinin akıl yürütme performanslarının karşılaştırılması.
- Olası kullanım: Özel uygulamalar için en uygun adım adım düşünme ve kod çözme parametre kombinasyonunun belirlenmesi.
Somut sonuçlar ve kanıtlar
- Küçük boyutlu açık kaynaklı modellerin, bazı durumlarda daha büyük modellerden daha iyi oranda etkili adım adım düşünme akıl yürütmesi üretebildiği gözlemlenmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Değerlendirme şu an için LogiQA ve analitik akıl yürütme, mantıksal akıl yürütme ile okuduğunu anlama alt kümelerini içeren LSAT veri seti gibi nispeten dar bir kıyaslama kümesiyle sınırlıdır. Ayrıca her model veya görev için evrensel olarak üstün tek bir adım adım düşünme rejimi bulunmamaktadır; bazı durumlarda bu yaklaşım doğruluğu artırmak yerine azaltabilmektedir.