Google Tarafından Geliştirilen Çok Modüllü Yapay Zeka Modeli Ailesi PaliGemma 2 Duyuruldu
Kaynak: huggingface.co ·
Google, SigLIP görüntü kodlayıcısını Gemma 2 dil modelleriyle birleştiren yeni görme dili modelleri ailesi PaliGemma 2'yi tanıttı. Model; 3B, 10B ve 28B parametre boyutlarında ve 224x224, 448x448 ile 896x896 olmak üzere üç farklı giriş çözünürlüğü seçeneğiyle sunuluyor. Ön eğitimi tamamlanmış bu modeller; görsel anlama, nesne konumlandırma ve metin anlama gibi görevlerde kolay ince ayar yapabilmek için tasarlanmıştır. Ayrıca Google, DOCCI veri kümesi üzerinde ince ayarı yapılmış modelleri de paylaşmıştır.
Neden önemli?
Önceki sürüm yalnızca 3B varyantıyla sınırlıyken, PaliGemma 2 farklı boyut ve çözünürlük seçenekleriyle kalite ile verimlilik dengesini kurmada geliştiricilere esneklik kazandırır. Bu durum, OCR ve ayrıntılı açıklama üretme gibi çoklu ortamlara dayalı görevlerde uygulamaların performansını artırır.
Bununla neler yapılabilir?
- Olası kullanım: Tablo ve molekül yapısı tanıma gibi karmaşık optik karakter tanıma görevlerinde görsellerin işlenmesi.
- Olası kullanım: Doğal dilde ayrıntılı ve uzun açıklamalar üreten görsel altyazı sistemlerinin geliştirilmesi.
- Olası kullanım: Belirli veri kümelerinde LoRA ve QLoRA teknikleri kullanılarak verimli bir şekilde model ince ayarının yapılması.
Somut sonuçlar ve kanıtlar
- Bfloat16 hassasiyetinde 9 ön eğitimli model (3B, 10B ve 28B boyutlarında, 224x224, 448x448 ve 896x896 çözünürlüklerde) yayınlandı. (Üreticinin açıklaması)
- Hugging Face ekibi, 3B boyutundaki PaliGemma 2 modelini 448x448 çözünürlükle VQAv2 veri kümesinin bir kısmında LoRA kullanarak 3 adet 80GB VRAM kapasiteli A100 üzerinde yarım saatte ince ayara tabi tuttu. (Üreticinin açıklaması)
- Üreticiye göre, 3B ince ayarlı kontrol noktası textvqa veri kümesinin 5.000 girişli doğrulama kümesinde bfloat16 ile %60.04, 8-bit niceleme ile %59.78 ve 4-bit niceleme ile %58.72 doğruluk oranı elde etti. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modellerin performansı ve donanım gereksinimleri seçilen parametre boyutuna (3B, 10B, 28B) ve çözünürlüğe göre değişiklik göstermektedir; ayrıca 4-bit ve 8-bit niceleme uygulanması doğruluk oranlarında hafif düşüşlere yol açabilmektedir.