Görsel Dil Modelleri İçin Doğrudan Tercih Optimizasyonu Desteği
Kaynak: huggingface.co ·
TRL kütüphanesi, görsel dil modelleri için doğrudan tercih optimizasyonu (DPO) desteğini duyurdu. Bu güncelleme sayesinde Idefics2, Llava 1.5 ve PaliGemma gibi modeller, karmaşık etiketleme süreçlerine gerek kalmadan doğrudan tercih verileriyle eğitilebiliyor. Yapılan testlerde, Idefics2 modelinin bu yöntemle ince ayardan geçirilmesi doğruluk ve F1 skorlarında küçük bir artış sağladı. Bellek tüketimini düşürmek için kuantizasyon ve LoRA tekniklerinin nasıl kullanılacağı da detaylı şekilde açıklandı.
Neden önemli?
Bu yenilik, geliştiricilerin görsel dil modellerini daha az maliyetle ve insan yargılarına daha uygun hale getirmesini sağlar. Geleneksel denetimli ince ayar yöntemlerine kıyasla süreci basitleştirir ve modellerin halüsinasyon oranını azaltmaya yardımcı olur.
Bununla neler yapılabilir?
- Olası kullanım: Idefics2-8b modelini 32GB civarında bellek gereksinimiyle eğitmek için kuantizasyon ve LoRA tekniklerini uygulamak.
- Olası kullanım: openbmb/RLAIF-V-Dataset veri kümesini kullanarak görsel dil modelleri üzerinde tercih optimizasyonu gerçekleştirmek.
- Olası kullanım: Eğitimi tamamlanan modellerin performansını değerlendirmek için AMBER kıyaslama testini çalıştırmak.
Somut sonuçlar ve kanıtlar
- Idefics2+DPO modeli, AMBER kıyaslama testinin ayrımcı görevinde 85.9 doğruluk ve 89.4 F1 skoru elde etti. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Yöntemin başarısı seçilen veri kümesine ve model mimarisine bağlıdır. Bellek optimizasyonları için uygun donanım ve parametre ayarları yapılması gerekir; aksi takdirde bellek aşımı hataları alınabilir.