İşaret Dilini Metne Çeviren SL2T Modeli Pixel 11 Üzerinde Kullanıma Sunuldu
Kaynak: deepmind.google ·
Google DeepMind ve Android ekipleri, işitme engelli kullanıcılar için geliştirilen ve işaret dilini doğrudan akış metnine çeviren SL2T (işaret-dili-metne) modelini tanıttı. Amerikan İşaret Dili'nden İngilizceye çeviriyle başlayan bu teknoloji, Gboard içinde işaret diliyle dikte etme ve Pixel 11 üzerindeki Canlı Metne Dönüştürme (Live Transcribe) uygulamasında kullanılmaya başlandı. Model, ham kamera akışları yerine MediaPipe Holistic aracılığıyla vücut konumu koordinatlarını kullanarak gizliliği koruyor ve ara sözcükleri (glosses) atlayarak doğrudan çeviri yapıyor. 50'den fazla işaret diline ait 100.000 saati aşkın veriyle eğitilen model, FLEURS-ASL değerlendirme testinde sıfır örnekli (zero-shot) 70 BLEURT puanı elde etti. Bu özellik, Pixel 11 cihazlarında ek bir ücret ödemeden sunuluyor.
Neden önemli?
Bu gelişme, on milyonlarca işitme engelli bireyin akıllı telefonlarında normal yazma yerine kendi ana dilleri olan işaret diliyle iletişim kurmasını sağlayarak teknoloji erişimindeki tarihi bir engeli ortadan kaldırıyor. İşaret dilinin kendine özgü gramerini ve karmaşık beden hareketlerini doğrudan anlayan bu sistem, iletişim boşluğunu kapatarak dijital dünyada kapsayıcılığı artırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Kullanıcılar Gboard üzerinde normalde klavye kullanarak yazacakları mesajları, belgeleri veya web aramalarını Amerikan İşaret Dili ile imzalayarak hızlıca metne dökebilir.
- Olası kullanım: Canlı Metne Dönüştürme (Live Transcribe) uygulamasında, işitme engelli bireyler klavye ile karşılıklı yazışmak yerine işaret diliyle yanıt vererek sohbet edebilir.
- Olası kullanım: Kullanıcılar Gemini'a sorular sorup görevleri yürütmek için işaret dilini kullanarak telefonlarıyla etkileşime girebilir.
Somut sonuçlar ve kanıtlar
- SL2T modeli, FLEURS-ASL (sd-test) değerlendirme testinde 70 BLEURT puanı elde etti. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Dağıtım aşamasında desteklenen ilk dil Amerikan İşaret Dili (ASL) olup, diğer diller ve cihazlar ilerleyen dönemde eklenecektir. Nadir işaretler, hızlı parmak hecelemeleri, pasif yapılar, sınıflandırıcı betimlemeler ve bağlamsız zaman eklerinde ara sıra hatalar kalmaya devam etmektedir.