Sentence Transformers Kütüphanesi ile 400 Kata Kadar Daha Hızlı Statik Gömme Modelleri Eğitme Yöntemi
Kaynak: huggingface.co ·
Bu araştırma, büyük dikkat mekanizmalı transformer modellerine kıyasla işlemcide 100 ile 400 kat daha hızlı çalışan yeni statik gömme (embedding) modellerinin eğitim yöntemini duyurmaktadır. İngilizce erişim ve çok dilli benzerlik görevleri için geliştirilen modeller, kalite kaybını en aza indirerek Matryoshka Temsil Öğrenimi ile boyut küçültmeyi desteklemektedir. Eğitim süreci, açık kaynaklı kodlar, veri setleri ve metrik raporlarıyla birlikte paylaşılmıştır. Bu sayede cihaz üstü, tarayıcı içi ve düşük güç gerektiren gömülü uygulamalarda yüksek hızlı metin temsilleri elde etmek mümkün hale gelmektedir.
Neden önemli?
Geleneksel büyük kodlayıcı modelleri yüksek doğruluk sunarken yavaş çıkarım süreleri nedeniyle darboğaz yaratmaktadır. Bu yöntem, kaliteyi büyük ölçüde korurken hızda katlarca artış sağlayarak geliştiricilerin donanım maliyetlerini düşürmesini ve uç cihazlarda gerçek zamanlı yapay zeka uygulamaları çalıştırmasını kolaylaştırır.
Bununla neler yapılabilir?
- Olası kullanım: Mobil cihazlarda veya tarayıcı içerisinde çalışan yerel arama ve öneri sistemleri geliştirmek.
- Olası kullanım: Büyük metin arşivleri üzerinde düşük gecikme süreleriyle kümeleme ve sınıflandırma iş akışları yürütmek.
Somut sonuçlar ve kanıtlar
- sentence-transformers/static-retrieval-mrl-en-v1 modeli, NanoBEIR üzerinde all-mpnet-base-v2 modeline kıyasla işlemcide 397 kat daha hızlı çalışmaktadır. (Üreticinin açıklaması)
- Matryoshka tarzı boyut indirgeme ile boyutlar 2 kat azaltıldığında, İngilizce erişim performansında yalnızca yüzde 1.47 oranında bir düşüş yaşanmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modeller çok uzun belgelerde büyük sayılar kanunu gereği gömmeleri normalleştirebileceğinden, maksimum dizi uzunluğu ve parçalama işlemlerinin kullanıcı tarafından dikkatle yönetilmesi gerekmektedir. Ayrıca tüm zor problemlerin çözüldüğü anlamına gelmez ve kalite kaybı görev türüne göre değişiklik gösterebilir.