Hugging Face Hub ve Google Cloud Model Garden Arasında Doğrudan Model Dağıtım Entegrasyonu Sunuldu
Kaynak: huggingface.co ·
Google Cloud ve Hugging Face, binlerce açık kaynaklı temel modeli doğrudan Google Cloud ortamına taşımayı sağlayan yeni bir entegrasyon başlattı. Bu ortaklık sayesinde geliştiriciler, altyapı yönetimiyle uğraşmadan popüler açık kaynaklı yapay zeka modellerini Vertex AI veya Google Kubernetes Engine üzerinde API uç noktası olarak kurabiliyor. Entegrasyon, model kartları üzerinden veya doğrudan Vertex Model Garden arayüzünden tek tıkla kurulum yapılmasına imkan tanıyor. Metin üreten modeller, üretim ortamı çözümü olan Text Generation Inference altyapısıyla çalışıyor.
Neden önemli?
Önceki durumda geliştiricilerin açık kaynaklı modelleri güvenli ve güvenilir bir şekilde kendi bulut ortamlarında çalıştırması büyük zaman ve kaynak gerektiriyordu. Bu entegrasyon, karmaşık altyapı ve sunucu yönetim süreçlerini ortadan kaldırarak geliştiricilerin ve kurumların üretim kalitesindeki üretken yapay zeka uygulamalarını çok daha hızlı hayata geçirmesini sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Zephyr Gemma gibi popüler açık kaynaklı modelleri tek tıkla Vertex AI veya Google Kubernetes Engine üzerinde API uç noktası olarak devreye almak.
- Olası kullanım: Gizli modeller için gerekli erişim anahtarlarını girerek model indirme ve dağıtım süreçlerini güvenli Google Cloud hesabı içinde yönetmek.
Somut sonuçlar ve kanıtlar
- Metin üretim etiketine sahip tüm modeller, Text Generation Inference altyapısı ile desteklenen çıkarım işlemleri için erişilebilir hale getirilmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Erişim maliyetleri, deneme koşulları veya bütçe detayları kaynak metinde belirtilmemiştir. Sadece 'text-generation-inference' etiketine sahip modellerin bu entegrasyonla desteklendiği ifade edilmiştir.