NVIDIA Tarafından Geliştirilen KVPress Araç Takımı, Büyük Dil Modellerinde KV Ön Bellek Sıkıştırması Sağlıyor
Kaynak: huggingface.co ·
NVIDIA, büyük dil modellerinde uzun içerik pencerelerinin getirdiği bellek yükünü azaltmak amacıyla KVPress adlı Python araç takımını tanıttı. Bu araç, ön doldurma aşamasında KV ön belleğini dinamik olarak sıkıştırarak doğruluğu korumayı hedefleyen birden fazla algoritma sunuyor. Çeşitli sıkıştırma stratejilerini barındıran modüler yapı, transformers kütüphanesiyle kolayca entegre olabiliyor. Böylece araştırmacılar ve geliştiriciler, uzun metinleri işlerken bellek kaynaklarını daha verimli kullanabiliyor.
Neden önemli?
Büyük dil modellerinde uzun içerik pencereleri bellek tüketimini doğrusal olarak artırarak donanım maliyetlerini yükseltir ve bazı uygulamaları imkansız hale getirir. KVPress, bu darboğazı aşarak model ağırlıklarının yanında devasa yer kaplayan ön belleği küçültür ve böylece donanım sınırlarına takılmadan uzun metinlerle çalışmayı mümkün kılar.
Bununla neler yapılabilir?
- Olası kullanım: 128k bağlam uzunluğuna sahip belgelerde yüzde 50 sıkıştırma oranı uygulayarak bellek kullanımını düşürmek ve model çözme hızını artırmak için kullanılabilir.
- Olası kullanım: RULER, InfiniteBench ve Loogle gibi standart uzun içerik veri kümelerinde farklı sıkıştırma algoritmalarını test etmek amacıyla komut satırı arayüzü ile kıyaslama yapılabilir.
Somut sonuçlar ve kanıtlar
- 128k bağlam uzunluğu için %50 sıkıştırma oranına sahip KVPress uygulaması, azami bellek kullanımını 45GB'dan 37GB'a düşürürken A100 GPU üzerinde çözme hızını saniyede 11 tokenden saniyede 17 tokene çıkardı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Daha yüksek sıkıştırma oranları, modelin çıktı doğruluğunu olumsuz etkileyebilir. Algoritmaların getirdiği ek hesaplama yükü ve belirli donanım koşullarındaki başarım değişimleri kullanım senaryolarına göre değişiklik gösterebilir.