Microsoft's Florence-2 Görsel Dil Modeli İçin DocVQA Üzerinde İnce Ayar Rehberi
Kaynak: huggingface.co ·
Microsoft tarafından yayınlanan küçük boyutlu Florence-2 görsel dil modeli, özelleştirilmiş veri setleri kullanılarak yeni görevler için başarılı bir şekilde ince ayardan geçirilebilmektedir. Orijinal modeller görsel soru cevaplama özelliğini içermezken, model DocVQA veri seti üzerinde eğitilerek bu alanda optimize edilmiştir. Yayınlanan çalışmada, modelin mimari detayları, FLD-5B veri seti ile ön eğitimi ve kısıtlı kaynaklara sahip ortamlarda gerçekleştirilen ince ayar adımları detaylı olarak ele alınmıştır.
Neden önemli?
Bu çalışma, 0.2B ve 0.7B gibi küçük boyutlu modellerin maliyet etkin bir şekilde üretim ortamlarında ve cihaz üzerinde çalıştırılabilmesi için özelleştirilmesine imkan tanır. Görsel soru cevaplama gibi doğrudan desteklenmeyen yeteneklerin, topluluk tarafından sağlanan rehberler ve kodlar sayesinde modele kazandırılabileceğini gösterir.
Bununla neler yapılabilir?
- Olası kullanım: Görsel belgeler üzerindeki soruları yanıtlamak için Florence-2 modelini DocVQA veri seti ile özelleştirme.
- Olası kullanım: Metin ve konum belirteçleri üreten bu modeli nesne tespiti, altyazı oluşturma ve optik karakter tanıma gibi bilgisayarlı görü görevlerine uyarlama.
Somut sonuçlar ve kanıtlar
- DocVQA doğrulama veri setinde, eğitim kümesiyle yedi epoch boyunca yapılan ince ayar sonrasında benzerlik skoru 57.0 değerine ulaşmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model genel belge anlamasında gelişim alanına sahip olup, verimlilik için vizyon kodlayıcısının dondurulduğu kısıtlı donanım senaryolarında test edilmiştir. Daha büyük öğrenme oranları modelin eğitim setine hızla aşırı uyum sağlamasına neden olabilmektedir.