Google Tarafından Geliştirilen Yeni Açık Dil Modelleri Ailesi Gemma 2 Tanıtıldı
Kaynak: huggingface.co ·
Google, 9 milyar ve 27 milyar parametre seçeneklerine sahip ön eğitimi yapılmış ve talimatlara göre ince ayarı yapılmış yeni açık dil modelleri ailesi Gemma 2'yi duyurdu. İki farklı boyutta gelen modeller, kaydırmalı pencere dikkati ve yumuşak üst sınırleme gibi teknik yenilikler içeriyor. Modeller, Hugging Face ekosisteminde Transformers entegrasyonu, Google Cloud ve Inference Endpoints desteği ile kullanıma sunuldu. Ayrıca 27 milyar parametreli sürüm bfloat16 hassasiyeti gerektirirken, 4 bit modu kullanılarak tüketici sınıfı ekran kartlarında ve Google Colab ortamında çalıştırılabiliyor.
Neden önemli?
Önceki modellere kıyasla iki kat daha fazla veriyle eğitilen Gemma 2, daha küçük boyutlarda yüksek performans arayan geliştiriciler ve araştırmacılar için verimli alternatifler sunar. Açık ağırlıklı yapısı ve ticari kullanımı destekleyen esnek lisansı sayesinde şirketler kendi altyapılarında maliyetsiz özelleştirme yapabilir.
Bununla neler yapılabilir?
- Olası kullanım: 9 milyar veya 27 milyar parametreli sürümleri kullanarak yerel donanımda veya bulut uç noktalarında sohbet uygulamaları ve diyalog asistanları geliştirmek.
- Olası kullanım: Hugging Face TRL kütüphanesi ve 4 bit kuantalama ile tüketici tipi grafik kartları üzerinde model için ince ayar (fine-tuning) yapmak.
Somut sonuçlar ve kanıtlar
- Gemma 2 modeli 9 milyar ve 27 milyar parametre boyutlarında, ön eğitimi yapılmış ve talimat ince ayarlı sürümleriyle 8 bin token bağlam uzunluğuna sahip olarak piyasaya sürülmüştür. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
27 milyar parametreli talimat ince ayarlı sürümün float16 hassasiyetinde kararsız çıktılar ürettiği ve mutlaka bfloat16 kullanılması gerektiği belirtilmiştir. Ayrıca yumuşak üst sınırleme özelliği, yayınlandığı tarihte Flash Attention ve SDPA ile uyumsuzdur.