Saf PyTorch Kullanarak Görme Dil Modelleri Eğitmek İçin Hafif Araç Seti nanoVLM Tanıtıldı
Kaynak: huggingface.co ·
Saf PyTorch ile görme dil modelleri eğitmek için tasarlanan yeni ve hafif araç seti nanoVLM duyuruldu. Google SigLIP görme kodlayıcısı ve Llama 3 mimarisini takip eden SmolLM2 dil modelini temel alan bu yapı, görüntü ve metin girdilerini işleyip metin üretebiliyor. Araç seti, tam bir eğitim hattı, veri yükleme, optimizasyon ve önceden eğitilmiş modellerle çıkarım yapma imkanı sunuyor. Kod tabanının kasıtlı olarak minimalist ve okunabilir tutulması sayesinde geliştiricilerin karmaşaya girmeden çok modlu modellerin iç yapısını incelemesine olanak tanınıyor.
Neden önemli?
Bu araç seti, devasa ve karmaşık altyapılara ihtiyaç duymadan çok modlu yapay zeka modellerini anlamak ve eğitmek isteyen yeni başlayanlar ile araştırmacılar için önemli bir erişilebilirlik avantajı sağlar. Karmaşık kod tabanlarını ortadan kaldırarak öğrenme sürecini hızlandırır.
Bununla neler yapılabilir?
- Olası kullanım: Görsel içerikler hakkında soruları yanıtlayan özel görsel soru-cevap modelleri eğitmek.
- Olası kullanım: Eğitilen önceden eğitilmiş modeller üzerinde özel resimler ve komutlarla çıkarım betikleri çalıştırmak.
Somut sonuçlar ve kanıtlar
- Model tek bir H100 grafik işlemcisi üzerinde yaklaşık 1,7 milyon örnek içeren küme verisiyle yaklaşık 6 saat boyunca eğitildi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model son teknoloji modellerle rekabet etmek amacıyla tasarlanmamıştır; temel amaç eğitim sürecini anlaşılır kılmaktır. Donanım gereksinimleri ve eğitim süreleri kullanılan veri setine göre değişiklik gösterebilir.