Transformers.js v4 NPM Üzerinde Yayınlandı: Yeni WebGPU Altyapısı ve Performans Artışları
Kaynak: huggingface.co ·
Transformers.js v4 sürümü NPM üzerinde erişime açıldı ve C++ ile tamamen yeniden yazılan yeni bir WebGPU çalışma zamanını duyurdu. Bu sürüm, tarayıcıların yanı sıra Node, Bun ve Deno gibi sunucu tarafı JavaScript ortamlarında donanım hızlandırmalı modellerin çalıştırılmasını sağlıyor. Ayrıca yapım sistemi Webpack'ten esbuild'e taşınarak derleme süreleri 10 kat hızlandırıldı ve varsayılan dışa aktarım boyutu küçültüldü. Yeni ModelRegistry API ve bağımsız Tokenizers.js kütüphanesi gibi üretim odaklı özellikler de geliştirme süreçlerine eklendi.
Neden önemli?
Bu güncelleme, web ve JavaScript geliştiricilerinin büyük dil modellerini ve yapay zeka araçlarını herhangi bir bulut maliyeti veya karmaşık sunucu altyapısı olmadan doğrudan yerel ortamlarda çalıştırmasına olanak tanır. Sunucu tarafı ve tarayıcı ortamları arasında kod birliği sağlayarak geliştirme yükünü azaltır.
Bununla neler yapılabilir?
- Olası kullanım: Node, Bun veya Deno ortamlarında ek bir sunucu maliyeti olmaksızın yerel olarak WebGPU hızlandırmalı modeller çalıştırmak.
- Olası kullanım: ModelRegistry API kullanarak üretim iş akışlarında önbellek durumunu denetlemek ve toplam indirim boyutunu hesaplamak.
- Olası kullanım: Bağımsız ve sıfır bağımlılığa sahip Tokenizers.js kütüphanesini kullanarak tarayıcı veya sunucu tarafında metin tokenleştirme işlemleri gerçekleştirmek.
Somut sonuçlar ve kanıtlar
- com.microsoft.MultiHeadAttention operatörünün benimsenmesiyle BERT tabanlı gömme modelleri için yaklaşık 4 kat hızlanma elde edildi. (Üreticinin açıklaması)
- Derleme süreleri 2 saniyeden 200 milisaniyeye düşerek 10 kat iyileşme sağladı ve transformers.web.js varsayılan dışa aktarımı %53 daha küçük hale geldi. (Üreticinin açıklaması)
- M4 Pro Max üzerinde yapılan testlerde GPT-OSS 20B (q4f16) modeli saniyede yaklaşık 60 token hızında çalıştırıldı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Yeni WebGPU çalışma zamanının performansı ve desteği donanım ve tarayıcı yeteneklerine bağlıdır; tüm ortamlarda aynı sonuçlar garanti edilmeyebilir. Kaynak metinde evrensel bir hata oransızlığı veya tüm donanımlar için geçerli kesin bir başarı garantisi belirtilmemektedir.