Büyük Dil Modellerinde Uzun İsteklerin Kuyruğu Bloklaması ve Çözüm Yolları
Kaynak: huggingface.co ·
Büyük dil modellerinde token üretimi sırasında önyükleme ve decode aşamalarının eşzamanlı çalıştırılması iki temel performans sorununa yol açmaktadır. Bunlardan ilki, uzun istemlerin sıradaki diğer isteklerin işlenmesini geciktirmesi; ikincisi ise paralel önyükleme işlemlerinin halihazırda decode aşamasındaki isteklerin token üretim hızını yavaşlatmasıdır. Bu sorunların üstesinden gelmek için istek paralel önyüklemeleri, ayrı çıkarım sunucuları kurma ve önyükleme ile decode işlemlerini ayıran ayrıştırılmış mimariler gibi farklı stratejiler kullanılmaktadır. Ayrıştırılmış önyükleme yaklaşımı, iki aşamayı farklı GPU'lara bölerek decode performansındaki yavaşlamaları büyük ölçüde ortadan kaldırmaktadır.
Neden önemli?
Bu optimizasyon stratejileri, özellikle yüksek trafikli ve gecikme süresine duyarlı yapay zeka uygulamalarında kullanıcı deneyimini doğrudan etkileyen yanıt sürelerinin iyileştirilmesini sağlar. Geliştiriciler ve sistem yöneticileri, donanım kaynaklarını daha verimli kullanarak sistem yanıt verme hızını artırabilir.
Bununla neler yapılabilir?
- Olası kullanım: Uzun bir bağlam içeren istem işlenirken kısa istemli yeni isteklerin öncelikli olarak işlenmesi için istek paralel önyükleme sınırlandırmalarının yapılandırılması.
- Olası kullanım: Uzun bağlamlı ve kısa bağlamlı istekler için farklı donanım gereksinimlerine sahip ayrı çıkarım sunucuları ve yönlendiriciler tasarlanması.
- Olası kullanım: Önyükleme ve decode iş yüklerini farklı GPU'lara bölerek KV önbellek transferiyle çalışan ayrıştırılmış bir mimari kurulması.
Somut sonuçlar ve kanıtlar
- Llama-3.3-70B modeli için 130k token bağlam uzunluğunu desteklemek amacıyla dört adet H100 GPU gereklidir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
vLLM içerisindeki ayrıştırılmış önyükleme özelliği hâlâ deneysel aşamadadır ve bağlam uzunluğunda alt sınırlar gibi bazı kısıtlamalar barındırmaktadır. Ayrıca bu mimari, ek donanım maliyeti ve eşit olmayan GPU kullanımı gibi dezavantajlar getirmektedir.