Hugging Face Üzerindeki Büyük Dil Modelleri İçin Tek Konteynerli Dağıtım Altyapısı
Kaynak: huggingface.co ·
NVIDIA, Hugging Face üzerinde bulunan 100.000'den fazla büyük dil modelinin hızlı ve güvenilir bir şekilde dağıtılması için çıkarımsama mikro servislerini kullanıma sundu. Yeni tekli Docker konteyneri; model analizi, mimari ve nicemleme tespiti, arka uç seçimi ve performans ayarlarını otomatik olarak gerçekleştiriyor. Bu sayede TensorRT-LLM, vLLM ve SGLang gibi önde gelen çıkarımsama çerçeveleri manuel yapılandırma gerektirmeden ortak bir yapıda birleştiriliyor. Geliştiriciler, Hugging Face formatındaki dosyaları doğrudan depolardan karmaşık dönüştürme adımları olmadan dağıtabiliyor.
Neden önemli?
Farklı büyük dil modelleri ve çıkarımsama yazılımlarının yönetilmesi, yapay zeka geliştiricileri için test ve devreye alma süreçlerinde ciddi bir zaman kaybı yaratıyordu. Bu mikro servis mimarisi, manuel yapılandırma ihtiyacını ortadan kaldırarak çeşitli modellerin hızla devreye alınmasını ve donanım altyapısından en yüksek verimin alınmasını sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Farklı mimarilere sahip büyük dil modellerini tek bir Docker konteyneri içinde, manuel ayar yapmadan hızla test etmek ve dağıtmak.
- Olası kullanım: Hugging Face üzerindeki .safetensors veya GGUF formatındaki modelleri dönüştürme işlemine gerek kalmadan doğrudan sunucuya taşımak.
Somut sonuçlar ve kanıtlar
- Tek bir mikro servis konteyneri, Hugging Face modelleri, TensorRT-LLM kontrol noktaları veya önceden oluşturulmuş motorlar dahil olmak üzere model formatını otomatik olarak tanımlar ve uyumluluk sağlar. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalıştırma ortamı için uygun sürücülere sahip NVIDIA grafik işlemcilerine (CUDA 12.1+), Docker kurulumuna, NVIDIA NGC hesabına, NIM Docker imajları için API anahtarına ve kimlik doğrulaması gerektiren modeller için Hugging Face hesabına ve API belirtecine ihtiyaç duyulmaktadır. Ayrıca çoklu grafik işlemcisi iletişimleri için paylaşılan bellek boyutunun (--shm-size) manuel olarak ayarlanması gerekmektedir.