Sesli Asistanlar İçin Çift Dilli Konuşma (Code-Switching) Performansını Değerlendiren Yeni Kıyaslama Testi
Kaynak: huggingface.co ·
Sesli asistanların farklı diller arasında akıcı bir şekilde geçiş yapabilen çift dilli konuşmaları ne kadar iyi işleyebileceğini ölçmek amacıyla yeni bir kıyaslama testi ve veri seti hazırlandı. Çalışmada İspanyolca-İngilizce, Fransızca-İngilizce, Kanada Fransızcası-İngilizce ve Almanca-İngilizce olmak üzere dört dil çifti ele alındı. Otomatik konuşma tanıma sistemlerinin doğruluğunu ölçmek için Kelime Hata Oranı, Anlamsal Kelime Hata Oranı ve Cevap Hata Oranı metrikleri kullanıldı. Yapılan değerlendirmelerde en iyi performans gösteren modellerin, tek dilli karşılaştırma düzeylerine kıyasla çok küçük cezalarla karşılaştığı gözlemlendi. Ancak model başarıları dil çiftlerine ve kullanılan sistemlere göre belirgin farklılıklar gösterdi.
Neden önemli?
Dünya nüfusunun yarısından fazlası birden fazla dil konuşmaktadır ve bu kişilerin günlük iletişimde diller arası geçiş yapması yaygın bir durumdur. Müşteri hizmetleri ve bilişim destek hatları gibi kurumsal ortamlarda yanlış yönlendirilen bir çağrı operasyonel sorunlara yol açabilir. Bu çalışma, işletmelerin müşterilerine en uygun sesli asistan modelini seçmesine rehberlik eder.
Bununla neler yapılabilir?
- Olası kullanım: Küresel müşteri hizmetleri merkezlerinde çağrı merkezine gelen çift dilli çağrıların otomatik dökümünün yapılması.
- Olası kullanım: Bilişim destek ve insan kaynakları yardım masalarında çalışanların diller arası geçiş yaptığı taleplerinin doğru şekilde metne dönüştürülmesi.
Somut sonuçlar ve kanıtlar
- ElevenLabs Scribe V2 ve AssemblyAI Universal 3-Pro modelleri transkripsiyon doğruluğunda en iyi iki model olarak öne çıkmaktadır; İspanyolca-İngilizce dil çiftinde eşit performans sergilemişler, diğer tüm dil çiftlerinde ise ElevenLabs Scribe V2 dar bir farkla lider olmuştur. (Üreticinin açıklaması)
- Google Gemini 3 Flash, anlamsal ve cevap hata oranlarında AssemblyAI Universal 3-Pro modelini geride bırakarak üçüncü sıraya itmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Değerlendirilen veri seti sentetik olup, tüm sesler doğal çift dilli konuşmacılar yerine Metin Okuma modelleriyle üretilmiştir; bu nedenle gerçek konuşmaların prozodik ve fonolojik özelliklerini tam olarak yansıtmayabilir. Tüm modeller yalnızca otomatik dil algılama ayarlarıyla test edilmiştir.