Google'ın Yapay Zeka Uyku Yöntemi Modellerin Eski Bilgileri Unutmasını Engelliyor
Kaynak: shiftdelete.net ·
Google araştırmacıları, büyük dil modellerinin yeni bilgileri eski verileri kaybetmeden kalıcı olarak öğrenmesini sağlayan insan beyninden esinlenen bir öğrenme sistemi önerdi. Sistem, aktif aşama ve hafıza pekiştirme ile rüya görme adımlarından oluşan uyku aşaması olmak üzere ikiye ayrılıyor. Testlerde mançu ve kalamang gibi az kaynaklı dillerde çeviri yapılırken önceki görevlerde performans kaybı yaşanmadı. Ayrıca BABILong testinde 10 milyon token uzunluğundaki bağlamlarda neredeyse kusursuz performans gösterildi.
Neden önemli?
Yapay zeka modellerinin yeni bilgiler öğrenirken eski yeteneklerini kaybetmesi anlamına gelen yıkıcı unutma sorununu çözen bu yaklaşım, modellerin genel bilgi dağarcığını kalıcı olarak geliştirmesini sağlar. Bu durum, uzun süreli bağlam işleme gerektiren karmaşık görevlerde yapay zekanın verimliliğini artırır.
Bununla neler yapılabilir?
- Olası kullanım: Büyük belge arşivlerinin ve uzun sohbet geçmişlerinin modelin genel bilgi dağarcığına kalıcı olarak eklenmesi.
- Olası kullanım: Az kaynaklı dillerde yapılan çeviri ve metin işleme görevlerinde eski yetenekler kaybolmadan yeni dil yeteneklerinin kazanılması.
Somut sonuçlar ve kanıtlar
Sınırlar ve açık kalan sorular
Yöntemin ticari ürünlere ne zaman entegre edileceğine dair herhangi bir takvim paylaşılmadı.