Sesli Asistanlar ve Çift Dilli Konuşma: Yeni Değerlendirme Çerçeveleri ve Performans Kıyaslamaları
Kaynak: huggingface.co ·
Konuşma tabanlı sesli asistanların değerlendirilmesi amacıyla görev başarısını ve deneyimi aynı anda ölçen uçtan uca EVA çerçevesi tanıtıldı. Bu çerçeve, havayolu senaryolarını kapsayan 50 senaryoluk bir veri setiyle birlikte sunuldu ve sistemlerin doğruluk ile kullanıcı deneyimi arasında sürekli bir ödünleşime sahip olduğunu gösterdi. Ayrıca, İK ve BT destek senaryolarında çift dilli (kod değiştirmeli) konuşmaları işleyen otomatik konuşma tanıma sistemlerini değerlendirmek için yeni bir kıyaslama çerçevesi geliştirildi. Dört dil çifti üzerinde yapılan testlerde, en iyi performans gösteren modellerin bile dil geçişlerinden etkilendiği ve hataların özellikle İngilizce bölümlerde yoğunlaştığı gözlemlendi.
Neden önemli?
Müşteri hizmetleri ve kurumsal otomasyonda kullanılan sesli asistanların hem doğru görev tamamlama oranına sahip olması hem de doğal bir konuşma akışı sunması kritik önem taşır. Bu iki yeni değerlendirme çerçevesi, geliştiricilerin asistanların gerçek dünya koşullarındaki zayıf noktalarını, özellikle de çift dilli konuşma zorluklarını ve doğruluk-deneyimi dengesini görmesini sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Çağrı merkezi asistanlarının uçtan uca konuşma kalitesini, hem doğruluk hem de deneyim boyutlarıyla otomatik olarak test etmek
- Olası kullanım: İspanyolca-İngilizce veya Fransızca-İngilizce gibi çift dilli konuşan müşteri gruplarına hizmet veren otomatik konuşma tanıma sistemlerinin hata oranlarını önceden kıyaslamak
Somut sonuçlar ve kanıtlar
- EVA çerçevesi ilk aşamada uçuş yeniden rezervasyonu, iptaller ve kuponlar gibi alanları kapsayan 50 senaryo ve 15 araç içeren sentetik bir havayolu veri setiyle yayınlanmıştır. (Üreticinin açıklaması)
- Çift dilli konuşma kıyaslaması için oluşturulan veri setinde İspanyolca-İngilizce için 259, Fransızca-İngilizce için 298, Kanada Fransızcası-İngilizce için 188 ve Almanca-İngilizce için 173 kayıt bulunmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
EVA çerçevesi şu an için yalnızca tek bir alanda (havayolu) 50 İngilizce senaryoyu kapsamaktadır; sonuçlar diğer dillere veya aksanlara genellenemeyebilir. Çift dilli konuşma kıyaslaması ise doğal konuşmacılar yerine metin-konuşma modelleriyle üretilen sentetik sesler üzerinden yapılmıştır ve modeller yalnızca otomatik dil algılama ayarlarıyla değerlendirilmiştir.