Amazon SageMaker için Hugging Face Gömme Kapsayıcısı Genel Erişime Açıldı
Kaynak: huggingface.co ·
Amazon SageMaker üzerinde açık kaynaklı gömme modellerinin güvenli ve yönetilen bir ortamda kolayca çalıştırılmasını sağlayan yeni Hugging Face Gömme Kapsayıcısı genel kullanıma sunuldu. Metin Gömme Çıkarımı teknolojisiyle güçlendirilen bu yeni Docker imajı; model grafiği derleme adımı gerektirmeme, hızlı açılış süreleri ve belirteç tabanlı dinamik toplu işlem gibi özellikler sunuyor. Geliştiriciler Snowflake Arctic, BAAI ve sentence-transformers gibi popüler açık kaynaklı modelleri SageMaker uç noktalarına kolayca entegre edebiliyor. Yapılan testlerde ml.c6i.2xlarge işlemci örneği ve ml.g5.xlarge grafik işlemci örneği ile farklı performans sonuçları elde edildi.
Neden önemli?
Bu yenilik, üretken yapay ayna ve RAG uygulamaları geliştiren kişilerin açık kaynaklı gömme modellerini altyapı karmaşası olmadan bulutta hızlıca devreye almasını sağlar. Geliştiriciler bütçelerine göre işlemci veya grafik işlemci seçeneklerini tercih ederek maliyet ve performans dengesini kurabilir.
Bununla neler yapılabilir?
- Olası kullanım: Belge arama ve getirme tabanlı üretim yapay zeka uygulamaları için açık kaynaklı gömme modellerini Amazon SageMaker üzerinde hızlıca barındırma.
- Olası kullanım: ml.c6i.2xlarge gibi işlemci tabanlı örnekler kullanarak düşük maliyetli gömme uç noktaları oluşturma.
- Olası kullanım: ml.g5.xlarge grafik işlemci örnekleri yardımıyla toplu gömme işleme süreçlerini yüksek hızda yürütme.
Somut sonuçlar ve kanıtlar
- ml.c6i.2xlarge işlemci örneği kullanılarak 10 eşzamanlı iş parçacığıyla gönderilen 3.900 istek ve toplam 1 milyon belirteç yaklaşık 841 saniyede işlendi. (Üreticinin açıklaması)
- ml.g5.xlarge grafik işlemci örneği kullanılarak 1 milyon belirtecin gömülmesi yaklaşık 30 sürdü ve saniyede yaklaşık 130 istek gerçekleştirildi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Testler Avrupa'dan gönderilen isteklerle us-east-1 bölgesindeki uç noktalar arasında gerçekleştirilmiş olup ağ gecikmesi içermektedir. İşlemci ve grafik işlemci örneklerinin maliyetleri ve donanım özellikleri değişkenlik gösterir.