Uykudan İlham Alan Yapay Zeka Çerçevesi Modellerin Unutma Sorununu Çözüyor ve 10 Milyon Token Uzunluğunu Destekliyor
Kaynak: research.google ·
Google Araştırma ekibi, dil modellerinin yeni bilgileri sürekli olarak öğrenmesini ve mantık yürütme becerilerini geliştirmesini sağlayan yeni bir uyku çerçevesi tanıttı. Aktif etkileşim ile çevrimdışı bellek pekiştirme aşamaları arasında geçiş yapan bu yöntem, felç edici unutma sorununu önlerken modellerin 10 milyon token uzunluğundaki bağlamları işlemesine imkan tanıyor. Çerçeve, parametre genişletme, bilgi adamı ve rüya görme olarak adlandırılan aşamalar sayesinde statik bilgi sınırlarını ortadan kaldırıyor.
Neden önemli?
Mevcut dil modelleri statik bilgi sınırlarıyla çalışır veya uzun bağlam pencerelerini oturum bitince unutur. Bu yeni yöntem, yapay zeka sistemlerinin sürekli öğrenmesini sağlayarak eski yeteneklerini kaybetmeden yeni olguları kalıcı parametrelere dönüştürmesine olanak tanır.
Bununla neler yapılabilir?
- Olası kullanım: Çok dilli çeviri projelerinde modellerin önceki dilleri unutmadan yeni ve az bilinen dilleri öğrenmesini sağlamak.
- Olası kullanım: Çok uzun teknik dokümanları ve verileri uzun süreli bellekte saklayarak karmaşık mantıksal çıkarımlar yapmak.
Somut sonuçlar ve kanıtlar
- Sürekli çeviri değerlendirmelerinde uyku çerçevesi, Manchu ve Kalamang gibi görülmemiş dillerde çok aşamalı değerlendirmelerde sıfıra yakın bir performans düşüşü korumuştur. (Kaynak)
- BABILong kıyaslamasında uyku yöntemi, uzun bağlam anlamada 10 milyon tokene kadar neredeyse kusursuz ölçeklenme göstermiştir. (Kaynak)
- SQuAD ve sürekli ön eğitim değerlendirmelerinde olgu bilgisi entegrasyonu tek görevli değerlendirmede %48.9, sürekli ön eğitim değerlendirmesinde ise %46.2 oranına ulaşmıştır. (Kaynak)
- AIME 24/25 ve HMMT 25 matematiksel akıl yürütme kıyaslamalarında uyku destekli temel model sırasıyla %79.2, %69.0 ve %46.1 doğruluk skorları elde etmiştir. (Kaynak)
Sınırlar ve açık kalan sorular
Çerçeve, insan tanımlı eğitim kuralları dahilinde ve sabit bir model mimarisi içerisinde çalışmaktadır; tüm gerçek dünya dağıtım koşullarında test edilip edilmediği kaynakta ayrıca belirtilmemiştir.