Meta Llama 3.1 405B Modeli Google Cloud Vertex AI Üzerine Nasıl Dağıtılır?
Kaynak: huggingface.co ·
Meta Llama 3.1 405B modelinin FP8 sıkıştırılmış sürümü, Hugging Face Metin Üretimi Çıkarımı (TGI) derin öğrenme kapsayıcıları kullanılarak Google Cloud Vertex AI üzerinde programatik olarak dağıtılabilmektedir. Süreç, Vertex AI Model Kaydı'na kayıt yapmayı, bir uç nokta oluşturmayı ve 8 adet NVIDIA H100 grafik işlemcisine sahip A3 düğümleri üzerinden gerçek zamanlı çevrimiçi tahminler çalıştırmayı kapsamaktadır. Bu rehber ile model ağırlıkları Hugging Face Hub üzerinden indirilir ve Google Cloud üzerinde özel uç noktalar aracılığıyla hizmete sunulur.
Neden önemli?
Bu entegrasyon, devasa açık kaynaklı dil modellerinin kurumsal düzeyde ve yüksek performanslı bulut altyapılarında çalıştırılmasını kolaylaştırır. Geliştiriciler ve veri mühendisleri, özel donanım yapılandırmaları ve önceden oluşturulmuş kapsayıcılar sayesinde en büyük açık modelleri kendi uygulamalarına entegre edebilir.
Bununla neler yapılabilir?
- Olası kullanım: 8 adet NVIDIA H100 grafik işlemcisi barındıran A3 düğümleri üzerinde Python kullanarak çevrimiçi metin üretimi tahminleri çalıştırmak.
- Olası kullanım: Hugging Face Hub üzerindeki meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 modelini Vertex AI Model Registry'ye kaydetmek.
- Olası kullanım: Google Cloud Vertex AI Çevrimiçi Tahmin Kullanıcı Arayüzü üzerinden JSON yükü biçimlendirerek testler gerçekleştirmek.
Somut sonuçlar ve kanıtlar
- Meta Llama 3.1 405B FP8 modelinin dağıtımı; kaynakların ayrılması, ağırlıkların indirilmesi ve TGI üzerinde yüklenmesi dahil olmak üzere toplam 25-30 dakika sürmektedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Dağıtım işlemi için A3 makine serisinde özel kota artışı yapılması gerekmektedir ve bu makineler yalnızca belirli bölgelerde kullanılabilmektedir. Ayrıca Hugging Face Hub üzerindeki kısıtlı modellere erişim için onay süreci beklenmelidir.