Görsel Dil Modellerindeki Son Gelişmeler ve Yeni Mimariler
Kaynak: huggingface.co ·
Son bir yılda görsel dil modelleri alanında çok büyük değişimler yaşanmış ve modeller hem küçülürken hem de güçlenmiştir. Girdi ve çıktıları her türlü modalite arasında dönüştürebilen çok yönlü sistemler, akıl yürütme yeteneğine sahip modeller ve karışık uzmanlar mimarileri öne çıkmaktadır. Ayrıca daha küçük boyutlu verimli modeller, robotik sistemler için eylem odaklı modeller ve gelişmiş belge tabanlı arama araçları ekosisteme kazandırılmıştır. Bu yenilikler sayesinde karmaşık çok modlu görevler daha az kaynakla ve yerel cihazlarda çalıştırılabilir hâle gelmiştir.
Neden önemli?
Önceki döneme kıyasla modeller artık sadece metin ve görsel algılamakla kalmayıp karmaşık akıl yürütme, uzun video analizi ve tarayıcı otomasyonu gibi ajan iş akışlarını gerçekleştirebilmektedir. Küçük boyutlu modeller sayesinde veri gizliliği artarken tüketici sınıfı donanımlarda yerel çalıştırma maliyetleri düşmektedir.
Bununla neler yapılabilir?
- Olası kullanım: Karmaşık PDF belgelerini ve finansal raporları metne dönüştürmeden doğrudan çok modlu arama motorlarıyla sorgulamak.
- Olası kullanım: Tüketici sınıfı cihazlarda çalışan küçük boyutlu modellerle video anlama ve yerel nesne tespiti görevlerini gerçekleştirmek.
Somut sonuçlar ve kanıtlar
- Kimi-VL-A3B-Thinking modeli, 16B toplam parametreye ve 2.8B aktif parametreye sahip bir Karışık Uzmanlar çözücüsü kullanmaktadır. (Üreticinin açıklaması)
- π0 ve π0-FAST modelleri 7 robotik platformunda ve 68 benzersiz görevde eğitilmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modellerin doğruluk oranları ve yetenekleri kullanılan donanıma, bağlam uzunluğuna ve seçilen mimari türüne göre değişiklik göstermektedir. Karışık uzmanlar mimarileri hesaplama verimliliği sağlasa da tüm modelin bellekte tutulması gerekliliği nedeniyle daha yüksek bellek maliyeti oluşturabilir.