Ses Ajanları için İki Dilli Konuşma Değerlendirmesi ve Verimli Akıl Yürütme Modelleri
Kaynak: huggingface.co ·
Araştırmacılar, iki dilli ve cümle ortasında dil değiştiren konuşmaları işleyen ses modellerini test etmek amacıyla İK ve BT destek senaryolarını içeren yeni bir değerlendirme kıyaslaması ve veri seti yayınladılar. Çalışmada, otomatik konuşma tanıma (ASR) sistemlerinin performansını kelime hata oranı ve semantik metriklerle ölçen yedi sistem değerlendirildi. Sonuçlar, en iyi modellerin tek dilli temellere kıyasla çok küçük cezalarla kodu değiştirebildiğini, ancak performansın dil çiftlerine göre önemli ölçüde değiştiğini gösterdi. Ayrıca, mevcut bir akıl yürütme modelini verimli bir Mamba hibritine dönüştürmek için yüksek kaliteli akıl yürütme verileriyle damıtma yönteminin etkinliği incelendi.
Neden önemli?
Müşteri hizmetleri ve İK süreçlerinde iki dilli konuşmaların yaygın olması nedeniyle, ses ajanlarının cümle ortasında dil değiştirmesi operasyonel başarı açısından kritik önem taşır. Bu çalışma, şirketlerin kendi müşteri kitlelerine uygun ses modelini seçmelerine rehberlik ederken, bilgi işlem maliyetlerini artırmadan verimlilik sağlama yollarını ortaya koyar.
Bununla neler yapılabilir?
- Olası kullanım: Çok dilli müşteri destek hatlarında, çalışanların İK veya maaş bordrosu sorularını iki dilli olarak akıcı şekilde yanıtlayan ses ajanları geliştirmek.
- Olası kullanım: BT destek masalarında şifre sıfırlama veya cihaz sorun giderme taleplerini cümle ortasında dil değiştirme durumlarında bile doğru şekilde metne dönüştürmek.
Somut sonuçlar ve kanıtlar
- Apriel-H1-15b-Thinker-SFT modeli, MATH500 ve MTBench puanlarını sırasıyla 0.90'dan 0.92'ye ve 8.30'dan 8.58'e çıkarırken 2.1 kat verimlilik artışı sağladı. (Üreticinin açıklaması)
- ElevenLabs Scribe V2 ve AssemblyAI Universal 3-Pro, kelime hata oranında en iyi iki model olarak öne çıktı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Konuşma tanıma değerlendirmesindeki veri seti sentetiktir ve tüm sesler yapay zeka seslendirme modelleriyle üretilmiştir; bu nedenle gerçek konuşmacıların prosodik ve fonolojik özelliklerini tam olarak yansıtmayabilir. Modeller yalnızca otomatik dil tespiti ile değerlendirilmiştir.