Küçük Boyutlu Görsel-Dil Modelleri İçin Çok Aşamalı Grafik Arayüz Otomasyon Eğitimi
Kaynak: huggingface.co ·
Bu çalışmada, başlangıçta grafik arayüz (GUI) konumlandırma yeteneği bulunmayan küçük boyutlu bir görsel-dil modelini (SmolVLM2-2.2B-Instruct) adım adım grafik arayüz ajanına dönüştüren kapsamlı bir eğitim süreci paylaşıldı. İlk aşamada normalize koordinatlar ve 1152 piksel çözünürlük kullanılarak modelin temel algı yetenekleri geliştirildi, ikinci aşamada ise aracı muhakeme yetenekleri eklendi. Tüm veri işleme araçları, eğitim kodları ve ortaya çıkan veri setleri açık kaynak olarak yayımlandı.
Neden önemli?
Bu yaklaşım, büyük ve maliyetli modellere ihtiyaç duymadan, küçük ölçekli açık kaynaklı görsel-dil modellerinin ekran üzerinde tıklama ve yazma gibi düşük seviyeli eylemleri gerçekleştirebilmesini sağlar. Araştırmacılar ve geliştiriciler, paylaşılan açık kaynaklı araçlar sayesinde kendi özel eylem uzaylarını ve otomasyon iş akışlarını kolayca oluşturabilirler.
Bununla neler yapılabilir?
- Olası kullanım: Mobil, masaüstü veya web platformlarındaki ekran görüntülerini analiz ederek grafik arayüz öğelerinin tam konumlarını tespit etme
- Olası kullanım: Yüksek seviyeli kullanıcı komutlarını düşük seviyeli fare ve klavye eylemlerine dönüştürme
- Olası kullanım: Farklı otomasyon çerçevelerine uyum sağlamak için özel eylem uzayları ve adlandırma kuralları tasarlama
Somut sonuçlar ve kanıtlar
- Temel model ScreenSpot-v2 testinde %0.47 ile başlarken, 1152 piksel çözünürlük ve normalize koordinatlarla 2 epoch'luk 1. aşama eğitimi sonrasında başarı oranı %41.27'ye ulaştı. (Üreticinin açıklaması)
- 1. aşama kontrol noktasından başlayarak smolagents/aguvis-stage-2 veri seti üzerinde 2 epoch ince ayar yapıldığında ScreenSpot-v2 doğruluğu %41'den %61.71'e yükseldi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma yalnızca deneme koşulları altında belirli veri setleriyle sınırlı kalmış olup, tüm olası gerçek dünya senaryolarında kusursuz çalışacağı anlamına gelmez. Optimal resim boyutu ve koordinat sistemi seçimlerinin temel modelin ön eğitim yaklaşımına göre değişiklik gösterebileceği belirtilmiştir.