256 Milyon ve 500 Milyon Parametreli Yeni Küçük Görsel Dil Modelleri Tanıtıldı
Kaynak: huggingface.co ·
Görsel dil modelleri ailesine 256 milyon ve 500 million parametreli iki yeni model katıldı. Bu modeller daha küçük bir görsel kodlayıcı kullanarak daha yüksek çözünürlükte görüntü işliyor ve yeni bir tokenleştirme optimizasyonu barındırıyor. Donanım kısıtı olan cihazlarda, tüketici dizüstü bilgisayarlarında ve tarayıcı tabanlı çıkarımda çalışabilen bu modeller, maliyetleri düşürmeyi hedefliyor. Ayrıca seriye ek olarak ColSmolVLM sürümleri ve IBM ortaklığıyla geliştirilen SmolDocling modelleri duyuruldu.
Neden önemli?
Kısıtlı donanıma sahip cihazlarda ve tarayıcılarda yapay zeka çalıştırmayı mümkün kılarak maliyetleri önemli ölçüde azaltır ve geliştiricilere tarayıcı tabanlı veya uç cihaz çözümleri sunar.
Bununla neler yapılabilir?
- Olası kullanım: PDF ve taranmış belgelerdeki soruları yanıtlamak için belge soru-cevap sistemleri kurmak.
- Olası kullanım: Görsel içerikleri, kısa videoları veya grafikleri etiketlemek ve tanımlamak.
- Olası kullanım: Düşük maliyetli arama yapılabilir veritabanları ve çok modlu bilgi getirme altyapıları oluşturmak.
Somut sonuçlar ve kanıtlar
- Üreticiye göre 256M parametreli yeni model, 17 ay önceki Idefics 80B modelinin performansını geçmektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modeller küçük boyutlu olmalarına rağmen çok dilli veya büyük devasa modellerin karmaşık becerilerindeki sınırları ve her türlü üretim koşulundaki kesin başarı oranları kaynakta detaylı test matrisleriyle verilmemektedir.