Tek Bir Grafik İşlemci ve Bir Günden Kısa Sürede Alana Özel Gömme Model Eğitimi
Kaynak: huggingface.co ·
Genel amaçlı gömme modelleri internet verileriyle eğitildiği için kurum içi belgelerdeki ince ayrıntıları kaçırmaktadır. Sunulan yeni yöntem ve araç zinciri sayesinde, etiketlenmiş veriye ihtiyaç duymadan, tek bir grafik işlemci ve bir günden kısa sürede alana özel sentetik veri üretilip model ince ayardan geçirilebilmektedir. Süreç, sentetik veri üretimi, zor negatif madenciliği, çok adımlı sorgu işleme, model eğitimi, değerlendirme ve üretim ortamına taşıma aşamalarından oluşmaktadır. Atlassian, bu reçeteyi halka açık bir veri kümesinde uygulayarak başarı oranını artırmıştır.
Neden önemli?
Getirme Destekli Üretim sistemlerinin performansını artırmak isteyen yazılım ve veri mühendisleri için sıfırdan manuel etiketleme maliyetini ortadan kaldırır. Şirketler, özel belgelerini daha iyi anlayan arama sistemlerini hızlıca kurabilir.
Bununla neler yapılabilir?
- Olası kullanım: Kurum içi teknik kılavuzlar ve sözleşmeler kullanılarak sentetik soru-cevap veri çiftleri üretilebilir.
- Olası kullanım: Hazırlanan veri kümesiyle bi-encoder tabanlı gömme modeli eğitilerek özel alan terimlerinde arama doğruluğu artırılabilir.
- Olası kullanım: Eğitilen model ONNX veya TensorRT formatına dönüştürülüp uç birim servisi olarak üretime alınabilir.
Somut sonuçlar ve kanıtlar
- Atlassian, Llama-Nemotron-Embed-1B-v2 modelini JIRA veri kümesinde ince ayardan geçirerek Recall@60 oranını 0.751'den 0.951'e yükseltmiştir. (Üreticinin açıklaması)
- Örnek veri kümesi ve reçete kullanıldığında Recall@10 ve NDCG@10 metriklerinde %10'un üzerinde iyileşme görülmüştür. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Yöntem, en az 80GB belleğe ve 8.0 veya üzeri işlem yeteneğine sahip NVIDIA Ampere ya da daha yeni bir grafik işlemci gerektirmektedir. Sentetik veri üretimi aşaması harici bir API kullanmaktadır; veri gizliliğine önem veren kurumlar için yerel model desteği henüz varsayılan olarak sunulmamaktadır.