Yerel Hızda vLLM Transformers Modelleme Arka Ucu Yayınlandı
Kaynak: huggingface.co ·
Transformers kütüphanesi vLLM modelleme arka ucu, birçok dil modeli mimarisinde özel vLLM uygulamaları kadar hızlı veya daha hızlı çalışacak şekilde güncellendi. Model yazarları, herhangi bir ek kod yazmadan vLLM çıkarım hızına otomatik olarak ulaşabiliyor. Güncelleme, çalışma zamanında çıkarıma özel katman birleştirmeleri uygulamak için statik analiz ve soyut sözdizimi ağaçları kullanıyor. Bu sayede model kodunu değiştirmeden optimize edilmiş çekirdeklerden yararlanmak mümkün oluyor.
Neden önemli?
Bu geliştirme, model yazarlarının en yüksek çıkarım performansını elde etmek için ayrı özel vLLM uygulamaları yazma zorunluluğunu ortadan kaldırır. Geliştiriciler, aynı model kodunu hem eğitim hem de çıkarım süreçlerinde doğrudan kullanabilir.
Bununla neler yapılabilir?
- Olası kullanım: Tek bir GPU üzerinde 4B yoğun modeli --model-impl transformers bayrağıyla çalıştırmak.
- Olası kullanım: Tensor paralelliği kullanarak 32B yoğun modeli vLLM altyapısında çalıştırmak.
- Olası kullanım: 8 adet H100 düğümü üzerinde veri ve uzman paralelliğiyle 235B parametreli FP8 Mixture-of-Experts modelini servis etmek.
Somut sonuçlar ve kanıtlar
- Transformers modelleme arka ucu, Qwen3 modellerinde yapılan karşılaştırmalarda yerel vLLM verimliliğini yakalamış veya geçmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Doğrusal dikkat mekanizması kullanan modeller şu anda desteklenmemektedir ancak yakında desteklenecektir. Kodu doğrudan Hub deposunda yer alan özel modellerin uyumlu yazılmadığı sürece çalışması beklenmemektedir.