Sentence Transformers v5.4 ile Metin, Görsel, Ses ve Video Destekli Çok Modlu Yerleştirme ve Yeniden Sıralama Modelleri Geldi
Kaynak: huggingface.co ·
Sentence Transformers kütüphanesinin v5.4 güncellemesi, metin, görsel, ses ve video girdilerini aynı API üzerinden kodlayıp karşılaştırma yeteneği getirdi. Güncellemeyle birlikte farklı veri biçimlerini ortak bir uzaya haritalayan çok modlu yerleştirme modelleri ve karışık biçimli çiftlerin alaka düzeyini puanlayan yeniden sıralama modelleri desteklenmeye başlandı. Geliştiriciler bu yeni yetenekleri görsel belge getirme, çapraz biçimli arama ve çok modlu bilgi artırılmış üretim boru hatları oluşturmak için kullanabilir. Ayrıca yeni sürümde tokenizer_kwargs parametresinin adı processor_kwargs olarak değiştirildi ve çok sayıda yeni model entegrasyona eklendi.
Neden önemli?
Önceki sürümlerde ağırlıklı olarak metin odaklı işlemler yapılırken, bu güncelleme çok modlu modellerin standart bir arayüzle kolayca kullanılmasını sağlar. Geliştiriciler ve araştırmacılar, farklı veri türlerini ayrı ayrı işlemek yerine tek bir kütüphane üzerinden arama, getirme ve sıralama yapabilir.
Bununla neler yapılabilir?
- Olası kullanım: Görsel belgeleri bir metin sorgusuyla aramak ve çapraz biçimli arama yapmak
- Olası kullanım: Milyonlarca belge üzerinde hızlı ilk getirme işlemi için yerleştirme modeli kullanıp, ilk sonuçları daha hassas bir yeniden sıralayıcı ile daraltmak
Somut sonuçlar ve kanıtlar
- Sentence Transformers v5.4 güncellemesi ile metin, görsel, ses ve video girdileri aynı API kullanılarak kodlanabilir ve karşılaştırılabilir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Qwen3-VL-2B gibi tabanlı modeller en az yaklaşık 8 GB VRAM gerektiren bir grafik kartına ihtiyaç duyar ve 8B varyantları yaklaşık 20 GB VRAM gerektirir. CPU üzerindeki çıkarım son derece yavaş olacağı için metin tabanlı veya CLIP modelleri tercih edilmelidir.