ExecuTorch 0.7 ve KleidiAI Entegrasyonu ile Arm Tabanlı Cihazlarda Üretken Yapay Zeka Dönemi
Kaynak: huggingface.co ·
Arm ve ExecuTorch ekipleri, KleidiAI optimizasyonlarını ön plana çıkaran ExecuTorch 0.7 sürümünü duyurdu. Bu entegrasyon sayesinde geliştiriciler kod değiştirmeden Android ve uç birim cihazlarında otomatik hızlandırma elde ediyor. Yaklaşık 2015'ten beri mevcut olan SDOT komutu desteği, eski telefonlarda ve Raspberry Pi 5 gibi cihazlarda üretken yapay zeka modellerinin çalıştırılmasını sağlıyor. Llama 3.2 gibi modeller artık daha geniş bir donanım yelpazesinde verimli bir şekilde çalışabiliyor. Böylece en üst düzey amiral gemisi cihazların ötesinde milyarlarca cihaza yapay zeka deneyimi taşınıyor.
Neden önemli?
Bu gelişme, üretken yapay zeka özelliklerinin yalnızca en yeni ve pahalı amiral gemisi telefonlarla sınırlı kalmayıp 3, 4 veya 5 yıllık cihazlarda da çalışabilmesini sağlayarak erişilebilirliği büyük ölçüde artırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Yerel bir dil modeli, ses tanıma ve sentezleme modelleriyle birleştirilerek tamamen çevrimdışı çalışan gizli bir akıllı asistan oluşturulabilir.
- Olası kullanım: Llama 3.2 1B modeli kullanılarak yerel metin düzenleyicilerde internet bağlantısına gerek duymadan bağlama duyarlı metin tamamlama ve akıllı öneriler sunulabilir.
Somut sonuçlar ve kanıtlar
- Üreticiye göre ExecuTorch with KleidiAI, Galaxy S24+ üzerinde non-KleidiAI çekirdeklere kıyasla %20'den daha yüksek prefill performansı elde ediyor. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
SDOT uzantısına sahip yalnızca Arm CPU'ları kullanan cihazlardaki dil modeli performansı en yeni amiral gemisi akıllı telefonlarla aynı seviyede olmayabilir. Erişim, maliyet veya deneme koşulları hakkında ayrıntılı kısıtlamalar kaynak metinde belirtilmiyor.