Gömülü Sistemlerde Robotik Yapay Zeka: Veri Toplama, Görsel-Dil-Eylem İnce Ayarı ve Cihaz Üstü Optimizasyonlar
Kaynak: huggingface.co ·
Bu rehber, görsel-dil-eylem modellerini gömülü robotik platformlarda çalıştırmak için veri toplama, ince ayar ve donanım odaklı optimizasyon süreçlerini ele alır. Senkron denetim boru hatlarındaki gecikmeleri aşmak için asenkron çıkarım ve model ayrıştırma yöntemleri önerilir. NXP i.MX 95 işlemcisi üzerinde yapılan testler, optimize edilmiş modellerin çıkarım süresini kısalttığını gösterir. Çalışma, veri kalitesini artırmak için tutarlılık, kavrayıcı kamerası kullanımı ve çeşitlilik ilkelerini vurgular.
Neden önemli?
Görsel-dil-eylem modellerinin gömülü cihazlarda çalıştırılması; kısıtlı bellek, güç ve işlemci kaynakları nedeniyle zordur. Bu rehber, robotik mühendislerinin modelleri optimize ederek gerçek zamanlı kontrol sağlamasına ve hareket gecikmelerini azaltmasına olanak tanır.
Bununla neler yapılabilir?
- Olası kullanım: Sabit kameralar ve kontrollü aydınlatma kullanarak çay poşetini kupaya koyma gibi görevler için tutarlı robotik veri setleri kaydetmek.
- Olası kullanım: Görsel-dil-eylem model grafını kodlayıcılar, çözücüler ve eylem uzmanları olarak mantıksal aşamalara ayırarak bağımsız optimizasyon yapmak.
- Olası kullanım: Eylem üretimini yürütmeden ayırarak eylemlerin eş zamanlı hesaplanmasını ve akıcı hareketler elde edilmesini sağlayan asenkron çıkarım pipeline'ları kurmak.
Somut sonuçlar ve kanıtlar
- i.MX 95 platformunda ACT modeli ONNX FP32 formatında 2.86 saniye çıkarım gecikmesi, test setinde 1.00 ve validasyon setinde 0.90 doğruluk oranı elde etti. (Üreticinin açıklaması)
- i.MX 95 platformunda optimize edilmiş ACT modeli 0.32 saniye çıkarım gecikmesi, test setinde 1.00 ve validasyon setinde 0.60 doğruluk oranı gösterdi. (Üreticinin açıklaması)
- i.MX 95 platformunda SmolVLA modeli ONNX FP32 formatında 29.1 saniye çıkarım gecikmesi, test setinde 0.50 ve validasyon setinde 0.40 doğruluk oranı verdi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Optimizasyon sonuçları belirli donanım bileşenleri ve test görevleriyle sınırlıdır; tüm robotik senaryolar için genelleme yapmak zordur. Eylem uzmanı kuantizasyonunun performansı düşürebileceği ve eylem dengelemesi gerektirdiği belirtilmiştir.