Transformers.js v3 Çıktı: WebGPU Desteği, Yeni Nicemleme Biçimleri ve 120 Mimar
Kaynak: huggingface.co ·
Transformers.js v3 kütüphanesi, bir yıllık geliştirme sürecinin ardından yayımlandı ve doğrudan tarayıcı içinde donanım hızlandırmalı grafik ve hesaplamalar yapılmasını sağlayan WebGPU desteği kazandı. Yeni sürüm, toplam desteklenen mimari sayısını 120'ye çıkarırken, model yükleme aşamasında çok daha geniş nicemleme seçenekleri sunuyor. Ayrıca Node.js, Deno ve Bun çalışma ortamlarıyla uyumluluk sağlanarak kütüphane resmi Hugging Face organizasyonuna taşındı.
Neden önemli?
Bu güncelleme, web geliştiricilerinin ve makine öğrenimi mühendislerinin sunucu maliyeti olmadan tarayıcı tabanlı yüksek performanslı yapay zeka uygulamaları geliştirmesini sağlar. Günlük kullanıcılar için harici sunucu bağımlılığını azaltarak gizliliği ve hızı artırır.
Bununla neler yapılabilir?
- Olası kullanım: Web tarayıcısı üzerinden sunucuya bağlanmadan metin gömme hesaplamaları yapmak.
- Olası kullanım: Tarayıcı ortamında WebGPU hızlandırması kullanarak otomatik konuşma tanıma gerçekleştirmek.
- Olası kullanım: MobilNetV4 ile tarayıcıda görsel sınıflandırma iş akışları oluşturmak.
Somut sonuçlar ve kanıtlar
- WebGPU desteği, WASM ile karşılaştırıldığında 100 kata kadar daha hızlı çalışabilmektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
WebGPU desteği küresel olarak Ekim 2024 itibarıyla yaklaşık %70 oranında desteklenmektedir; bu nedenle bazı kullanıcıların tarayıcılarında özellik bayraklarını manuel olarak etkinleştirmesi gerekebilir.