Farklı Ailelerden Modellerle Destekli Üretim Sağlayan Evrensel Destekli Üretim Yöntemi
Kaynak: huggingface.co ·
Intel Labs ve Hugging Face, farklı model ailelerinden küçük ve büyük dil modellerinin birlikte çalışmasını sağlayarak çıkarım hızını artıran Evrensel Destekli Üretim yöntemini tanıttı. Geleneksel destekli üretim yaklaşımı, hedef ve yardımcı modellerin aynı belirteç oluşturucusunu kullanmasını zorunlu kıldığından, küçük varyantı olmayan büyük modeller bu avantajdan yararlanamıyordu. Yeni geliştirilen çift yönlü belirteç çeviri yöntemi sayesinde, farklı ailelere ait modeller eşleştirilebiliyor ve metin üretim hızı yaklaşık 1.5x ile 2.0x arasında ivmelendirilebiliyor. Bu yenilik, 4.46.0 sürümünden itibaren Transformers kütüphanesine entegre edilmiş durumdadır.
Neden önemli?
Bu yöntem, küçük birer varyantı bulunmayan büyük veya Uzman Karışımı modellerin farklı ailelerden küçük yardımcı modellerle eşleştirilebilmesini sağlayarak çıkarım süreçlerini hızlandırır. Geliştiriciler, model ailesi kısıtlaması olmaksızın istedikleri verimli kombinasyonları kurarak üretim maliyetlerini ve gecikme sürelerini düşürebilirler.
Bununla neler yapılabilir?
- Olası kullanım: CodeLlama-13b-Instruct-hf modeli kod üretimi görevlerinde tiny_starcoder_py yardımcı modeliyle eşleştirilerek 1.90x hızlanma elde edilebilir.
- Olası kullanım: Mixtral-8x22B-Instruct-v0.1 modeli özetleme görevlerinde vicuna-68m yardımcı modeliyle birlikte çalıştırılarak 1.52x hızlanma sağlanabilir.
Somut sonuçlar ve kanıtlar
- Intel Labs ve Hugging Face iş birliğiyle geliştirilen Evrensel Destekli Üretim, çıkarım hızını 1.5x-2.0x oranında artırmaktadır. (Üreticinin açıklaması)
- CodeLlama-13b-Instruct-hf ve tiny_starcoder_py ikilisi ile openai/humaneval veri kümesinde kod üretimi görevinde 1.90x hızlanma gözlemlenmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Yöntem şu anda olasılıklı örnekleme kullanımında yalnızca çok terimli örneklemeyi desteklemektedir; bu durum, hedef modelin yardımcı modelle aynı belirteci örneklemediği durumlarda otomatik reddedilmeye yol açar ve standart yönteme kıyasla verimi düşürebilir.