Çoklu Grafik İşlemci Eğitiminde Çok Boyutlu Paralellik Stratejileri Entegrasyonu
Kaynak: huggingface.co ·
Çoklu grafik işlemci üzerinde büyük modelleri eğitirken karşılaşılan iletişim yükü ve bellek sınırları gibi zorlukları aşmak için farklı paralellik stratejilerini birleştiren yeni bir rehber ve entegrasyon duyuruldu. Araçlar, veri paralelliği, tam paylaşımlı veri paralelliği, tensör paralelliği ve bağlam paralelliği yöntemlerinin bir arada kullanılmasını kolaylaştırıyor. Geliştiriciler bu stratejileri kendi eğitim betiklerinde veya yapılandırma dosyalarında kolayca ayarlayabiliyor. Böylece donanım altyapısına uygun bellek ve veri akışı dengesi kurulabiliyor.
Neden önemli?
Onlarca veya yüzlerce milyar parametreli devasa modelleri eğitirken donanım sınırlarına takılan yapay zeka mühendisleri ve araştırmacılar için iletişim maliyetlerini düşürme imkanı sunar. Farklı paralellik yöntemlerini bir arada kullanarak bellek verimliliğini artırır ve büyük bağlam uzunluklarında eğitimi mümkün kılar.
Bununla neler yapılabilir?
- Olası kullanım: Çoklu düğüm kümelerinde veri paralelliği ile tam paylaşımlı veri paralelliğini birleştirerek iletişim darboğazlarını azaltmak.
- Olası kullanım: Milyon token seviyesindeki uzun dizileri işlemek için bağlam paralelliği ve halkalı dikkat mekanizmalarını yapılandırma dosyalarına eklemek.
Sınırlar ve açık kalan sorular
Yöntemlerin etkinliği donanım kümesinin düğüm içi ve düğümler arası bağlantı hızlarına doğrudan bağlıdır. Özel modeller için tensör paralelliğinin manuel olarak uyarlanması gerekir ve bu entegrasyon şu anda yalnızca ikinci sürüm tam paylaşımlı veri paralelliği ile kullanılabilmektedir.