Google Cloud Tensor İşlem Birimleri, Çıkarım Uç Noktaları ve Alanlar Üzerinden Erişime Açıldı
Kaynak: huggingface.co ·
Google Cloud Tensor İşlem Birimleri, yapay zeka uygulamalarını hızlandırmak amacıyla Çıkarım Uç Noktaları ve Alanlar üzerinde kullanılabilir hale getirildi. Kullanıcılar, v5litepod-1, v5litepod-4 ve v5litepod-8 olmak üzere üç farklı Tensor İşlem Birimi v5e yapılandırmasından birini seçebilmektedir. Sistem, büyük dil modellerini sunmak için Optimum Tensor İşlem Birimi kütüphanesini ve Metin Üretimi Çıkarımı altyapısını kullanmaktadır. Çeşitli model mimarileri desteklenmekte olup, Gemma, Llama ve Mistral modelleri birkaç tıklamayla dağıtılabilmektedir.
Neden önemli?
Bu entegrasyon, yapay zeka geliştiricilerine maliyet etkin ve yüksek performanslı Google donanımlarını kendi projelerinde kolayca kullanma imkanı tanır. Geliştiriciler, özel ve yönetilen altyapı üzerinde büyük dil modellerini daha esnek bir şekilde dağıtabilirler.
Bununla neler yapılabilir?
- Olası kullanım: v5litepod-1 yapılandırması seçilerek 2 milyar parametreye kadar olan modeller hızlıca dağıtılabilir.
- Olası kullanım: v5litepod-4 veya v5litepod-8 yapılandırmaları kullanılarak daha büyük modeller için bellek bütçesi sorunlarının önüne geçilebilir ve gecikme süreleri düşürülebilir.
- Olası kullanım: Alanlar platformunda ayarlar düğmesi üzerinden Tensor İşlem Birimi seçilerek yapay zeka destekli demo ve uygulamalar hızlıca oluşturulup paylaşılabilir.
Somut sonuçlar ve kanıtlar
- v5litepod-1 TPU v5e ile 1 çekirdek ve 16 GB bellek saatlik 1.375 dolar fiyatla sunulmaktadır. (Üreticinin açıklaması)
- v5litepod-4 TPU v5e ile 4 çekirdek ve 64 GB bellek saatlik 5.50 dolar fiyatla sunulmaktadır. (Üreticinin açıklaması)
- v5litepod-8 TPU v5e ile 8 çekirdek ve 128 GB bellek saatlik 11.00 dolar fiyatla sunulmaktadır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Yorumlar kısmında belirtildiği üzere, Tensor İşlem Birimi kullanımının Çıkarım Uç Noktaları üzerinde şu an için askıya alındığı bildirilmiştir; erişim ve güncel kullanılabilirlik durumu platform politikalarına göre değişiklik gösterebilir.