Hugging Face ve FriendliAI Ortaklığı ile Modeller Doğrudan Hub Üzerinden Dağıtılıyor
Kaynak: huggingface.co ·
Hugging Face ve FriendliAI, üretken yapay zeka modellerinin dağıtımını kolaylaştırmak ve hızlandırmak için iş birliğine gitti. Bu entegrasyon sayesinde geliştiriciler, Hugging Face Hub üzerindeki 'Bu modeli dağıt' seçeneğinden doğrudan yararlanabiliyor. FriendliAI altyapısı, NVIDIA H100 grafik işlemcileri üzerinde özel uç noktalar kurma ve sunucusuz uç noktalar aracılığıyla açık kaynaklı modelleri çalıştırma imkanı sunuyor. Geliştiriciler, model kartları üzerinden tek tıklamayla bu dağıtım sayfasına ulaşarak süreçleri yönetebiliyor.
Neden önemli?
Bu entegrasyon, geliştiricilerin altyapı karmaşıklığıyla uğraşmadan açık kaynaklı veya özel yapay zeka modellerini ölçeklenebilir bir şekilde dağıtmasını sağlar. Yüksek performanslı çıkarım altyapısına doğrudan erişim sunarak maliyetleri düşürür ve iş akışlarını hızlandırır.
Bununla neler yapılabilir?
- Olası kullanım: NVIDIA H100 grafik işlemcileri üzerinde Friendli Adanmış Uç Noktaları kullanarak özel veya açık kaynaklı bir modeli yönetilen bir servis olarak dağıtmak.
- Olası kullanım: Sunucusuz uç noktalar aracılığıyla optimize edilmiş açık kaynaklı modellere API'ler üzerinden erişmek ve dağıtım işlemi sürerken doğrudan sohbet arayüzü üzerinden modelleri test etmek.
Somut sonuçlar ve kanıtlar
- Üreticiye göre FriendliAI, Artificial Analysis tarafından en hızlı grafik işlemci tabanlı üretken yapay zeka çıkarım sağlayıcısı olarak sıralanmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Dağıtım ve altyapı yönetimi için bir Friendli Suite hesabına ihtiyaç duyulmaktadır; maliyetler, erişim koşulları ve desteklenen model mimarilerinin kapsamı kaynakta ayrıntılı olarak yer almamaktadır.