Ulysses Sıra Paralelleştirme Protokolü ile Milyon Token Bağlamlarında Model Eğitimi
Kaynak: huggingface.co ·
Yapay zeka ekosisteminde milyon token düzeyindeki uzun girdilerin işlenmesi ve eğitilmesi amacıyla Ulysses Sıra Paralelleştirme protokolü duyuruldu. Bu yöntem, dikkat hesaplamalarını birden fazla grafik işlem birimine bölerek bellek sınırlarını aşıyor. Yeni entegrasyonlar sayesinde Accelerate, Transformers Eğiticisi ve TRL SFT Eğiticisi üzerinde doğrudan kullanılabiliyor. Bu sayede bellek optimizasyonu sağlanarak uzun belgeler ve kod tabanları verimli bir şekilde işlenebiliyor.
Neden önemli?
Geleneksel veri paralelleştirme yöntemleri, dikkat mekanizmasının karesel bellek artışı nedeniyle çok uzun metinlerde yetersiz kalmaktadır. Ulysses protokolü, dikkat başlıklarını bölerek araştırmacıların ve geliştiricilerin tek bir cihazın belleğine sığmayan milyon tokenlik bağlamlarla model eğitmesine olanak tanır.
Bununla neler yapılabilir?
- Olası kullanım: Yüzlerce sayfadan oluşan kitaplar veya araştırma makaleleri gibi devasa belgelerin analiz edilmesi için uzun bağlamlı modellerin eğitilmesi.
- Olası kullanım: Birbirine bağlı çok sayıda dosyadan oluşan büyük kod tabanlarının yapay zeka sistemleri tarafından anlaşılması.
- Olası kullanım: Uzun girdiler ve çok sayıda alınmış metin parçası içeren alım destekli üretim iş yüklerinin çalıştırılması.
Somut sonuçlar ve kanıtlar
- H100 80GB grafik işlemciler üzerinde yapılan testlerde SP=4 yapılandırması 96K uzunluğunda 66 gigabayt tepe belle tüketimiyle çalışırken, 128K uzunlukta bellek sınırı aşıldı. (Üreticinin açıklaması)
- Yayıncıya göre SP=4 yapılandırması 64K bağlam uzunluğunda saniyede 13.396 token işleyerek tek grafik işlemcili karşılaştırma düzeyine kıyasla 3.7 kat daha yüksek akış hızı sundu. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Ulysses yöntemi, dikkat başlığı sayısının paralelleştirme derecesine eşit veya büyük olmasını zorunlu kılar (num_heads >= sp_size). Ayrıca çalışmanın başarısı kullanılan grafik işlemci modeline, bellek kapasitesine ve doğru birim yapılandırmasına bağlıdır.