Eş Zamanlı Büyük Dil Modeli İş Yüklerinde Parçalı Ön Yükleme ve Sürekli Toplu İşleme Optimizasyonları
Kaynak: huggingface.co ·
Bu araştırmada, büyük dil modellerinin eş zamanlı istekleri işlerken karşılaştığı ön yükleme (prefill) ve çözümleme (decode) aşamalarındaki performans zorlukları incelenmektedir. Ön yükleme aşaması yoğun hesaplama gerektirirken, çözümleme aşaması bellek bant genişliğine bağımlıdır. Statik toplu işleme yöntemlerinin dezavantajlarına karşı, sürekli toplu işleme ve parçalı ön yükleme stratejileri değerlendirilmiştir. Standart dağıtımlarda parçalı ön yükleme yaklaşımının toplam token verimliliğini kayda değer ölçüde artırdığı gösterilmiştir.
Neden önemli?
Bu optimizasyon teknikleri, sohbet botları ve etkileşimli uygulamalarda yanıt süresini (ilk token süresi) ve akış hızını iyileştirerek kullanıcı deneyimini doğrudan etkiler. Aynı zamanda donanım kaynaklarının daha verimli kullanılmasına olanak tanır.
Bununla neler yapılabilir?
- Olası kullanım: Sohbet robotu uygulamalarında ilk token süresini ve yanıt gecikmelerini optimize etmek için sürekli toplu işleme stratejilerini yapılandırmak
- Olası kullanım: Büyük veri setleri ve kod tabanı özetleme gibi etkileşimli olmayan görevlerde toplam token verimliliğini artırmak için parçalı ön yükleme boyutlarını ayarlamak
Somut sonuçlar ve kanıtlar
- Standart vLLM dağıtımlarında ve benzer büyüklükteki istekler için parçalı ön yükleme (chunked prefill), toplam token verimliliğini %50 oranında artırmıştır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Parçalı ön yükleme stratejisi ek yük getirebilir ve ilk token süresinde küçük bir artışa yol açabilir. Ayrıca en uygun parça boyutunun belirlenmesi, öngörülemeyen yük düzenlerine sahip ortamlarda oldukça zordur.