Sentence Transformers Kütüphanesi ile Çok Modüllü Gömme ve Yeniden Sıralama Modelleri Eğitme
Kaynak: huggingface.co ·
Geliştiriciler için duyurulan yeni kılavuz, Sentence Transformers kütüphanesini kullanarak metin, görsel, ses ve video işleyebilen çok modüllü gömme ile yeniden sıralama modellerinin nasıl eğitileceğini veya ince ayardan geçirileceğini detaylı şekilde anlatıyor. Görsel Belge Erişimi görevi üzerinde Qwen/Qwen3-VL-Embedding-2B modeliyle yapılan örnek ince ayar çalışmasında, değerlendirme verisi üzerinde NDCG@10 skoru 0.888'den 0.947'ye yükseltildi. Ayrıca Matryoshka kayıp fonksiyonu entegrasyonu sayesinde, tam boyutlu 2048 boyutlu gömmeler daha düşük boyutlara (örneğin 512 boyuta) kesilerek performans kaybı yaşamadan dağıtıma uyarlanabiliyor.
Neden önemli?
Genel amaçlı büyük çok modüllü modeller her özel görevde en iyi sonucu vermez; bu kılavuz ve yöntem sayesinde geliştiriciler kendi alan verileriyle ince ayar yaparak daha küçük boyutlu modellerle bile daha büyük modelleri geride bırakan sonuçlar elde edebilirler.
Bununla neler yapılabilir?
- Olası kullanım: Şirket içi PDF arşivlerinde 'Üçüncü çeyrek geliri ne kadardı?' gibi metin sorgularıyla ilgili belge ekran görüntülerini bulmak için Görsel Belge Erişimi modeli eğitmek.
- Olası kullanım: Matryoshka eğitimi ile 2048 boyutlu gömmeleri 1024 veya 512 boyuta düşürerek arama kalitesinden ödün vermeden depolama alanını yarı yarıya indirmek.
Somut sonuçlar ve kanıtlar
- Üreticiye göre, Görsel Belge Erişimi veri kümesi üzerinde 1 epoch eğitilen model 0.947 NDCG@10 skoru elde etti. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Eğitim süreci ve sonuçlar kullanılan veri kümesinin boyutuna, donanım kaynaklarına (bellek sınırlamaları nedeniyle mini_batch_size kullanımı gibi) ve seçilen hiperparametrelere bağlıdır; her alan için aynı başarım garantilenmez.