Idefics2: 8 Milyar Parametreli Çok Modüllü Açık Kaynaklı Yeni Görsel-Dil Modeli Tanıtıldı
Kaynak: huggingface.co ·
Idefics2, metin ve görsel dizilerini işleyerek yanıt üretebilen, Apache 2.0 lisansına sahip 8 milyar parametreli yeni bir açık kaynaklı çok modüllü model olarak duyuruldu. Önceki sürümüne kıyasla 10 kat daha küçük olmasına rağmen gelişmiş OCR yetenekleri sunan model, görselleri yerel çözünürlüklerinde işleyebiliyor. Modelin eğitimi için ayrıca 50 adet manuel olarak derlenmiş veri setinden oluşan The Cauldron isimli açık bir derleme sunuldu.
Neden önemli?
Bu model, önceki sürüme göre çok daha küçük bir boyutta olmasına rağmen görsel soru yanıtlama gibi alanlarda rekabetçi performans sunuyor ve açık lisansıyla araştırmacılara kolayca ince ayar yapma imkanı tanıyor.
Bununla neler yapılabilir?
- Olası kullanım: Görseller hakkındaki soruları yanıtlamak ve görsel içerikleri detaylıca betimlemek.
- Olası kullanım: Belgeler üzerinden metin ve veri ayıklama işlemlerini gerçekleştirmek.
- Olası kullanım: Çoklu görsellere dayalı hikayeler oluşturmak.
Somut sonuçlar ve kanıtlar
- Idefics2, 8B parametresi, açık lisansı (Apache 2.0) ve geliştirilmiş OCR yetenekleriyle Idefics1 modelini geliştiriyor. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modelin performansı sağlanan görsellerin kalitesine ve veri setlerinin kapsamına bağlıdır; her türlü karmaşık görsel ve belge işleme senaryosunda kusursuz sonuç garanti edilmemektedir.