Google Tarafından Geliştirilen Açık Kaynaklı Görsel Dil Modeli Ailesi PaliGemma Çıktı
Kaynak: huggingface.co ·
Google, SigLIP-So400m görsel kodlayıcı ve Gemma-2B metin kodlayıcı bileşenlerini birleştiren açık kaynaklı yeni görsel dil modeli ailesi PaliGemma'yı duyurdu. Model, ön eğitimli, görev karışımlı (mix) ve belirli akademik kıyaslamalara göre ince ayarı yapılmış (ft) olmak üzere üç farklı tipte ve farklı çözünürlük ile hassasiyet seviyelerinde sunulmaktadır. Hugging Face Hub üzerinden erişilebilen modeller, transformers entegrasyonu ile birlikte gelmekte olup tek turlu görevler için tasarlanmıştır. Kullanıcılar Gemma lisans koşullarını kabul ederek ve kimlik doğrulaması yaparak modellere erişebilir.
Neden önemli?
Bu model ailesi, araştırmacıların ve geliştiricilerin görsel anlama, altyazı oluşturma ve nesne tespiti gibi görevler için açık kaynaklı bir görsel dil modelini kendi projelerine uyarlamasına olanak tanır.
Bununla neler yapılabilir?
- Olası kullanım: Görsellerin içeriği hakkında soruları yanıtlamak için görsel soru-cevap iş akışları oluşturmak.
- Olası kullanım: Belge anlama ve akıl yürütme görevlerinde metin ve görsel verilerini birlikte işlemek.
Somut sonuçlar ve kanıtlar
- PaliGemma modelleri üç farklı çözünürlükte ve üç farklı hassasiyette yayınlanmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modeller tek turlu çalışacak şekilde tasarlanmıştır ve sohbet amaçlı kullanıma uygun değildir. Yüksek çözünürlüklü modeller daha uzun girdi dizileri nedeniyle çok daha fazla bellek gerektirir. Karışım (mix) ve ince ayarlı (ft) kontrol noktaları yalnızca araştırma amaçlı kullanım içindir.