Cümle Dönüştürücüler ile Seyrek Gmbe Modelleri Eğitimi ve İnce Ayarı
Kaynak: huggingface.co ·
Hugging Face, Cümle Dönüştürücüler kütüphanesini kullanarak seyrek gömme ve kodlayıcı modellerinin nasıl eğitileceğini ve ince ayarının yapılacağını tanıttı. Bu süreç; model seçimi, veri setleri, kayıp fonksiyonları, eğitim argümanları, değerlendiriciler ve eğitici sınıfını içeriyor. Araç, melez arama senaryolarında iyi çalışan ucuz bir model ortaya çıkaran çıkarımsız SPLADE modelinin eğitilmesine olanak tanıyor.
Neden önemli?
Seyrek gömme modelleri, geleneksel sözcüksel yöntemler ile yoğun modeller arasında değerli bir niş oluşturuyor. Geliştiriciler, melez arama potansiyeli sayesinde arama performansını artırabiliyor ve etiket yorumlanabilirliği elde edebiliyor.
Bununla neler yapılabilir?
- Olası kullanım: Özel alan veya dil terimlerini tanımak amacıyla seyrek kodlayıcı modellerine ince ayar yapmak.
- Olası kullanım: Sorgu gecikmesini azaltmak için çıkarımsız SPLADE mimarisini arama uygulamalarında kullanmak.
Somut sonuçlar ve kanıtlar
- Çıkarımsız model NanoMSMARCO üzerinde 0.5241 NDCG@10, NanoNFCorpus üzerinde 0.3299 NDCG@10 ve NanoNQ üzerinde 0.5357 NDCG@10 skoru elde etti. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Erişim, maliyet ve deneme koşulları kaynakta belirtilmemektedir; ancak model, Natural Questions veri setinden 100 bin çift ile eğitilmiştir.