Sentence Transformers Kitabı ile Gömme Modellerini Eğitme ve İnce Ayar Yapma
Kaynak: huggingface.co ·
Sentence Transformers kütüphanesi, gömme modellerini eğitmek ve özel görevlerde performanslarını artırmak için kapsamlı bir ince ayar yaklaşımı sunar. Yeni eğitim sınıfı, veri kümeleri, kayıp fonksiyonları, eğitim argümanları ve değerlendiricileri bir araya getirerek çoklu veri kümesi eğitimini kolaylaştırır. v3.0 sürümünden itibaren eski fit yöntemi arkada bu yeni yapıyı kullanacak şekilde güncellenmiştir. Böylece kullanıcılar, kodlarında kırılma yaşamadan çoklu GPU eğitimi ve kayıp günlüğü gibi gelişmiş özelliklerden faydalanabilir.
Neden önemli?
Bu yenilik, anlamsal arama, bilgi getirme ve metin benzerliği projeleri yürüten geliştiricilerin kendi verileriyle özel gömme modellerini çok daha esnek ve güçlü bir şekilde eğitebilmesini sağlar. Farklı veri biçimlerini dönüştürmeye gerek kalmadan çoklu veri kümesiyle aynı anda eğitim yapılabilmesi süreçleri hızlandırır.
Bununla neler yapılabilir?
- Olası kullanım: Yerel CSV veya JSON formatındaki verileri ve Hugging Face veri kümesi merkezini kullanarak özel metin benzerliği ve sınıflandırma görevleri için gömme modellerine ince ayar yapmak.
- Olası kullanım: Çoklu veri kümesi ve farklı kayıp fonksiyonları kombinasyonlarıyla aynı anda eğitim gerçekleştirerek en iyi başvuru grubu stratejisini belirlemek.
Somut sonuçlar ve kanıtlar
- Microsoft mpnet-base modeli üzerinde gerçekleştirilen ince ayar eğitimi sonucunda, geliştirme kümesi için triplet doğruluğu yüzde 90.04 ve test kümesi için yüzde 91.5 olarak elde edilmiştir; eğitim öncesi taban model aynı test kümesinde yüzde 68.32 skor almıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Eğitim süreci donanım kaynaklarına, veri kümesi boyutuna ve seçilen hiperparametre değerlerine bağlı olarak değişiklik gösterir. v3.0 öncesi sürümlerde kullanılan fit yöntemi arka planda güncellenmiş olsa da yeni kod yazarken yeni sınıf yaklaşımının kullanılması önerilir; kaynakta her model ve donanım kombinasyonu için evrensel bir başarı garantisi belirtilmemiştir.