Hugging Face Modelleri Amazon SageMaker ve Inference Endpoints Üzerinden AWS Inferentia2 ile Dağıtılabiliyor
Kaynak: huggingface.co ·
Hugging Face, kullanıcıların yüz binlerce açık model mimarisini ve makine öğrenimi görevini Amazon SageMaker ve Inference Endpoints üzerinden AWS Inferentia2 donanımlarına kolayca taşımasını sağlayan yeni desteğini duyurdu. Bu entegrasyon, kullanıcıların istedikleri modelleri birkaç tıklamayla veya sağlanan kod parçacıklarıyla dağıtmasına olanak tanıyor. Üreticiye göre, Inference Endpoints için sunulan Inf2-small ve Inf2-xlarge örnekleri sırasıyla Llama 3 8B ve Llama 3 70B modellerini çalıştırmak için optimize edildi. Ayrıca, dağıtılan uç noktalar OpenAI SDK Mesajlar API ile uyumlu çalışarak mevcut uygulamalarda kod değişikliği yapma zorunluluğunu ortadan kaldırıyor.
Neden önemli?
Bu gelişme, yapay zeka iş yüklerini üretime alırken maliyet verimliliği arayan geliştiriciler ve şirketler için büyük önem taşıyor. AWS Inferentia2 çiplerinin gücünün geniş bir model yelpazesine entegre edilmesi, büyük dil modellerinin ölçeklenebilir ve daha düşük maliyetli altyapılarda çalıştırılmasını kolaylaştırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Llama 3 8B modelini Inf2-small örneği üzerinde çalıştırarak metin üretme görevlerini optimize edebilirsiniz.
- Olası kullanım: Mevcut OpenAI SDK entegrasyonlu yapay zeka uygulamanızı kod değiştirmeden doğrudan yeni Inferentia2 uç noktasına yönlendirebilirsiniz.
Somut sonuçlar ve kanıtlar
- Hugging Face, 14 yeni model mimarisi ve 6 yeni makine öğrenimi görevi dahil olmak üzere 100.000'den fazla açık model için AWS Inferentia2 desteğini genişletiyor. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Dağıtım desteği başlangıçta belirli mimari ve görevlerle sınırlıdır; Diffusion ve Embedding modelleri için destek ilerleyen dönemde eklenecektir. Donanım maliyetleri ve saatlik ücretler (örneğin Inf2-small için saatlik 0.75 dolar, Inf2-xlarge için saatlik 12 dolar) kullanım süresine ve seçilen örneğe göre değişiklik göstermektedir.