Google Tarafından Geliştirilen Yeni Görsel Dil Modelleri: PaliGemma 2 Mix Duyuruldu
Kaynak: huggingface.co ·
Google, SigLIP ve Gemma 2 teknolojilerine dayanan ve akademik veri setleri karışımı üzerinde ince ayardan geçirilmiş yeni PaliGemma 2 mix görsel dil modellerini duyurdu. Optik karakter tanıma, uzun ve kısa altyazı oluşturma, görsel soru yanıtlama gibi birçok görevde kullanılabilen bu modeller; 3B, 10B ve 28B parametre boyutlarında ve farklı çözünürlük seçenekleriyle sunuluyor. Açık uçlu komut istemlerinin desteklendiği bu yeni modeller, temel ön eğitimli denetim noktalarının aşağı akış görevlerindeki performansına dair hızlı bir fikir vermeyi amaçlıyor.
Neden önemli?
Önceki iterasyona göre daha esnek açık uçlu komut istemi desteği getiren bu modeller, geliştiricilerin görsel-dil görevlerini daha az kısıtlamayla test etmesini sağlıyor. Modeller, özellikle belirli alt görevlerde hızlı ince ayar yapma ve performans sinyali alma ihtiyacı duyan yapay zeka araştırmacıları ve geliştiriciler için önem taşıyor.
Bununla neler yapılabilir?
- Olası kullanım: Tablolar, grafikler ve şemalar içeren infografikler üzerinde görsel soru yanıtlama ve belge anlama işlemleri gerçekleştirme.
- Olası kullanım: Görsellerdeki metinleri tespit etme, uzun/kısa açıklamalar üretme ve optik karakter tanıma (OCR) uygulama.
- Olası kullanım: Belirtilen nesne tanımlarını kullanarak nesne tespiti yapma ve görsel bölütleme (segmentasyon) ile nesne alanlarını bulma.
Sınırlar ve açık kalan sorular
Modellerin tam performans sınırları, eğitim maliyetleri veya çıkarım hızları hakkında kaynak metinde detaylı kısıtlamalardan bahsedilmemektedir; ancak bu modellerin çok amaçlı sohbet modelleri olmaktan ziyade aşağı akış görevlerinde öğrenme odaklı tasarlandığı belirtilmiştir.