2 Milyar Parametreli Açık Kaynaklı Görsel Dil Modeli Ailesi SmolVLM Tanıtıldı
Kaynak: huggingface.co ·
Hugging Face ekibi, hafif yapısı ve yüksek veri verimliliğiyle öne çıkan 2 milyar parametreli yeni görsel dil modeli ailesi SmolVLM'yi duyurdu. Apache 2.0 lisansıyla tamamen açık kaynak olarak sunulan bu modeller; temel, sentetik ve yönergelere göre ayarlanmış varyantları içermektedir. Dil omurgası olarak SmolLM2 1.7B kullanılan model, görsel bilgileri piksel karıştırma stratejisiyle sıkıştırarak bellek tüketimini ciddi ölçüde azaltmaktadır. Böylece model, tarayıcılar ve uç cihazlar gibi yerel ortamlarda verimli şekilde çalışabilmektedir.
Neden önemli?
Önceki büyük görsel dil modelleri yüksek bellek ve hesaplama maliyetleri nedeniyle yerel cihazlarda çalıştırılamazken, bu yeni yaklaşım tüketici sınıfı donanımlarda bile verimli yerel çıkarım ve ince ayar yapılmasına olanak tanır. Geliştiriciler ve araştırmacılar, gizlilik odaklı uygulamalar için bulut servislerine bağımlı kalmadan bu modelleri özelleştirebilir.
Bununla neler yapılabilir?
- Olası kullanım: Kullanıcıların kendi cihazlarında gizliliğe öncelik veren görsel soru-cevap ve OCR işlemleri gerçekleştirmesi.
- Olası kullanım: Tüketici sınıfı GPU'lar veya Google Colab üzerinde VQAv2 veri setiyle özel görevler için modelin ince ayardan geçirilmesi.
Somut sonuçlar ve kanıtlar
- SmolVLM, test girdisi ve tek bir görsel için 1.2 bin token kullanırken, Qwen2-VL modeli aynı işlem için 16 bin token harcamaktadır. (Üreticinin açıklaması)
- Üreticiye göre SmolVLM'nin ön doldurma verimi Qwen2-VL modeline kıyasla 3.3 ila 4.5 kat, üretim verimi ise 7.5 ila 16 kat daha hızlıdır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modelin video analiz testlerinde zamanlama anlama konusunda bazı sınırlamalar gösterdiği ve eğitim süreci ile bellek optimizasyonu arasında denge kurulması gerektiği belirtilmektedir.