Holo3.1 Modeli Yerel ve Mobil Cihaz Kullanımı İçin Tanıtıldı
Kaynak: huggingface.co ·
Holo3.1 modeli, web, masaüstü ve mobil ortamlar ile farklı ajan çatılarında sağlamlığı artırmak amacıyla dört farklı boyutta (0.8B, 4B, 9B ve 35B-A3B) ve çeşitli nicemlenmiş biçimlerde yayınlandı. Yeni seri, yerel ve uç cihazlarda çalıştırma esnekliği sunarken AndroidWorld testinde önemli başarı artışları kaydetti. Ayrıca FP8, Q4 GGUF ve NVFP4 gibi nicemlenmiş ağırlıklar sayesinde yerel çıkarımda hızlanmalar sağlandı. Üreticiye göre, NVFP4 W4A16 yapılandırması tam hassasiyetli BF16'ya kıyasla token verimliliğini artırmaktadır.
Neden önemli?
Bu güncelleme, geliştiricilerin yapay zeka ajanlarını bulut dışında yerel donanımlarda, mobil cihazlarda ve farklı ajan çatıları üzerinde daha düşük maliyetle ve gizlilikle çalıştırmasına olanak tanır. Özellikle tüketici donanımında yerel ajan çalıştırma imkanı, kurumsal ve bireysel iş akışlarında yeni otomasyon senaryolarının önünü açar.
Bununla neler yapılabilir?
- Olası kullanım: Android cihazlar üzerinde mobil uygulama otomasyonu ve testleri gerçekleştirmek.
- Olası kullanım: Windows veya Mac gibi tüketici donanımlarında, yerel ağ dışına veri çıkarmadan gizli masaüstü ajanları çalıştırmak.
- Olası kullanım: E-ticaret, iş yazılımları ve işbirliği iş akışlarında üçüncü taraf ajan çatıları ile entegrasyon sağlamak.
Somut sonuçlar ve kanıtlar
- AndroidWorld üzerinde 35B-A3B modelinin başarısı %67'den %79.3'e yükselirken, daha küçük 4B ve 9B varyantları %58'den %72'ye yükseldi. (Üreticinin açıklaması)
- DGX Spark üzerinde NVFP4 W4A16, FP8'in 1.41 katı ve BF16'nın 1.74 katı toplam token verimliliği sağlamaktadır. (Üreticinin açıklaması)
- Spark üzerinde ortalama adım süresi 6.8 saniyeden 3.3 saniyeye düşmektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model performansları farklı ortamlarda değişiklik gösterebilir ve tüm karmaşık masaüstü veya mobil senaryolarda hatasız çalıştığı garanti edilmez. Yerel çalıştırma performansı, kullanılan donanım özelliklerine (örneğin Apple Silicon veya DGX Spark) bağlı olarak değişmektedir.