Büyük Dil Modelleri İçin Adil İstek Kuyruğu ve Zamanlama Stratejileri
Kaynak: huggingface.co ·
Bu makale, birden fazla kullanıcının eşzamanlı istek gönderdiği durumlarda kısıtlı grafik işlemci kaynaklarının verimli kullanımı için adil istek kuyruğu ve zamanlama stratejilerini ele almaktadır. Yoğun istek gönderen güçlü kullanıcıların diğer kullanıcıların erişimini engellemesi sorununa karşı, isteklerin arka uç motoruna gitmeden önce ara sunucuda kullanıcı bazlı kuyruklara ayrılması ve sırayla işlenmesi önerilmektedir. Ayrıca, grafik işlemci arka uç kuyruk uzunluğunun ve token üretim hızının takip edilerek istek gönderim hızının dinamik olarak ayarlanması gerektiği vurgulanmaktadır. Alternatif olarak, arka uç tabanlı önceliklendirme özelliklerinin avantajları ve sınırları da tartışılmıştır.
Neden önemli?
Çoklu kullanıcı ortamlarında çalışan yapay zeka uygulamaları için isteklerin doğru sıralanması, kullanıcı deneyimini ve sistem yanıt sürelerini doğrudan etkiler. Bu stratejiler sayesinde, tek bir kullanıcının sistemi kilitlemesinin önüne geçilir ve interaktif asistanlar gibi kritik görevler önceliklendirilebilir.
Bununla neler yapılabilir?
- Olası kullanım: Etkileşimli sohbet asistanı isteklerine yüksek öncelik vererek kullanıcıların beş saniyeden uzun süre yanıt beklemesini önlemek.
- Olası kullanım: Kod inceleme gibi binlerce satırlık büyük iş yüklerini düşük öncelikli arka plan kuyruklarına yönlendirerek diğer kullanıcıların gecikme yaşamasını engellemek.
- Olası kullanım: Grafik işlemci arka uç kuyruk uzunluğunu ve token üretim süresi metriklerini takip ederek yeni isteklerin gönderim hızını dinamik olarak sınırlamak.
Sınırlar ve açık kalan sorular
Bu makalede sunulan stratejiler ve yaklaşımlar, self-hosted büyük dil modeli sunumu yapan sistemler için tartışılmaktadır. Arka uç tabanlı önceliklendirme özelliği yalnızca vLLM için geçerlidir ve HuggingFace TGI gibi diğer altyapılarda desteklenmemektedir. Belirli bir test başarısı veya sayısal doğruluk iddiası kaynakta yer almamaktadır.