Görsel Dil Modelleri için Karışık Tercih Optimizasyonu ve Grup Politikası Optimizasyonu Desteği
Kaynak: huggingface.co ·
Görsel Dil Modelleri için geliştirilen yeni kütüphane güncellemeleri, insan tercihlerine uyum sağlama süreçlerini genişletiyor. Bu kapsamda Karışık Tercih Optimizasyonu, Grup Göreli Politika Optimizasyonu ve Grup Dizi Politika Optimizasyonu gibi yeni teknikler çok modlu modellere uyarlandı. Ayrıca Takviyeli Bırakma Yöntemi ve Çevrimiçi Doğrudan Tercih Optimizasyonu mevcut yöntemlere eklendi. Doğal Denetimli İnce Ayar desteği ve vLLM entegrasyonu ile eğitim süreçleri daha verimli hale getirildi.
Neden önemli?
Bu yenilikler, çok modlu yapay zeka modellerinin insan tercihleriyle hizalanmasını daha verimli ve ölçeklenebilir kılar. Geliştiriciler, karmaşık akıl yürütme görevlerinde modellerin performansını artırmak için artık daha zengin sinyal çıkarma yöntemlerine ve hazır eğitim betiklerine sahip.
Bununla neler yapılabilir?
- Olası kullanım: Matematiksel akıl yürütme görevleri için Karışık Tercih Optimizasyonu kullanarak model yanıtlarının kalitesini artırmak.
- Olası kullanım: Görsel Dil Modellerini eğitirken Grup Göreli Politika Optimizasyonu ile ödül gürültüsüne karşı daha dayanıklı politikalar güncellemek.
- Olası kullanım: vLLM entegrasyonunu kullanarak çevrimiçi hizalama yöntemlerinde eğitim sırasında örnekler üretmek.
Somut sonuçlar ve kanıtlar
- Üreticiye göre, Karışık Tercih Optimizasyonu yöntemine geçilmesi MathVista testinde 6.2 puanlık iyileşme sağlıyor. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çok modlu hizalama teknikleri farklı veri kümelerinde ve minimal çalıştırmalarla test edilmiştir; tüm model mimarilerinde veya karmaşık senaryolarda aynı sonuçların alınacağı garanti edilmez.