Tek Dağıtımda Çoklu Model Çalıştırma: Çoklu LoRA Sunumu
Kaynak: huggingface.co ·
Metin Üretim Çıkarımı aracı, tek bir temel model dağıtımı üzerinde çok sayıda özelleştirilmiş adaptörün dinamik olarak çalıştırılmasını sağlayan Çoklu LoRA sunum özelliğini tanıttı. Bu yenilik sayesinde, her bir ince ayarlanmış model için ayrı ayrı altyapı kurma zorunluluğu ortadan kalkıyor ve tek bir temel model dağıtımı birden fazla görevi yerine getirebiliyor. Adaptör ağırlıkları çok küçük boyutlu olduğu için bellek maliyetini minimumda tutuyor ve gelen istekteki kimlik bilgisine göre ilgili adaptör dinamik olarak seçiliyor.
Neden önemli?
Önceden her özel görev için ayrı büyük dil modeli dağıtmak yüksek operasyonel karmaşıklık ve maliyet yaratıyordu; bu yeni yöntem ise tek temel model üzerinden yüzlerce uzman modelin çalıştırılmasına olanak tanıyarak donanım maliyetlerini ve ölçeklendirme zorluklarını azaltıyor, özellikle çok sayıda farklı iş akışına sahip kuruluşlar için büyük bir maliyet avantajı sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Müşteri hizmetleri ve kod üretimi gibi farklı uzmanlık alanlarına sahip birden fazla ince ayarlanmış adaptörü tek bir temel model üzerinde birleştirerek tek uç nokta üzerinden hizmet vermek.
- Olası kullanım: Değişken kullanım modellerine sahip farklı yapay zeka ajanlarının taleplerini tek bir ortak temel model altyapısında konsolide ederek GPU kullanımını maksimize etmek.
Somut sonuçlar ve kanıtlar
- Temel model olarak mistralai/Mistral-7B-v0.1 kullanıldığında, adaptörler çok küçük boyutlu olduğundan (örneğin 13.6 MB), 30 adaptörün belleğe yüklenmesi VRAM kullanımında sadece %3'lük bir artışa neden olmaktadır. (Üreticinin açıklaması)
- Nvidia L4 donanımı üzerinde yapılan testlerde $0.8/saat maliyetle 75 istek/saniye (ortalama 450 girdi ve 234 çıktı tokeni ile) performansı elde edilmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Tam olarak yüklenebilecek adaptör sayısı mevcut GPU kaynaklarına ve seçilen temel modelin boyutuna bağlıdır; ayrıca yükleme süreleri model sayısına göre değişiklik gösterebilir.