NVIDIA NeMo AutoModel ile Uzman Karışımı Modellerin İnce Ayar Hızı ve Bellek Verimliliği Artırıldı
Kaynak: huggingface.co ·
NVIDIA, Transformers v5 altyapısı üzerine inşa edilen ve açık kaynaklı Uzman Karışımı (MoE) modellerin ince ayar sürecini hızlandıran NeMo AutoModel kütüphanesini duyurdu. Bu araç, tek bir içe aktarma satırı değişikliğiyle standart API uyumluluğunu korurken uzman paralelliği, DeepEP ve TransformerEngine çekirdeklerini entegre ediyor. Yapılan testlerde Qwen3-30B-A3B ve Nemotron 3 Nano 30B-A3B modellerinde 3.4 ila 3.7 kat daha yüksek eğitim verimliliği sağlandı ve GPU bellek kullanımı %29 ila %32 oranında azaltıldı. Ayrıca sistem, devasa ölçekli Nemotron 3 Ultra 550B A55B modelinin 16 düğüm üzerinde tam ince ayarının yapılabilmesine olanak tanıyor.
Neden önemli?
Önceki duruma göre, standart kütüphaneler büyük Uzman Karışımı modelleri eğitirken bellek yetersizliği sorunları yaşayabiliyor veya dağıtık eğitimde uyumsuzluklar nedeniyle kilitlenmelere yol açabiliyordu. Bu gelişme, yapay zeka geliştiricileri ve araştırmacılara kod değiştirmeden aynı API üzerinden çok daha hızlı ve düşük bellek tüketimiyle büyük modelleri eğitme imkanı sunuyor.
Bununla neler yapılabilir?
- Olası kullanım: Tek bir sunucu düğümünde 8 adet H100 GPU kullanarak Qwen3-30B-A3B gibi büyük modellerin ince ayar sürecini daha yüksek hızda ve daha düşük bellek tüketimiyle gerçekleştirmek.
- Olası kullanım: 16 adet H100 düğümü (toplam 128 GPU) üzerinde Expert Parallelism kullanarak Nemotron 3 Ultra 550B A55B gibi devasa hibrit modellerin tam ince ayarını yapmak.
Somut sonuçlar ve kanıtlar
- Qwen3-30B-A3B modelinde, tek düğümde 8x H100 80GB GPU kullanılarak yapılan testlerde NeMo AutoModel (EP=8), v5 yapılandırmasına kıyasla 3.69 kat daha yüksek saniyede ortalama token işleme hızı (TPS/GPU) sunmuş ve tepe bellek kullanımını %29 düşürerek 48.1 GiB seviyesine indirmiştir. (Üreticinin açıklaması)
- Nemotron 3 Nano 30B A3B modelinde, tek düğümde 8x H100 80GB GPU ile yapılan testlerde NeMo AutoModel (EP=8), v5 yapılandırmasına kıyasla 3.36 kat daha yüksek ortalama token işleme hızı (TPS/GPU) sağlamış ve tepe bellek tüketimini %32 azaltarak 42.5 GiB değerine düşürmüştür. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Performans artışları ve bellek tasarrufları belirli donanım konfigürasyonlarında (örneğin 8x H100 80GB GPU veya 16 düğümlü H100 kümeleri) ve belirli model aileleri için ölçülmüştür. Her model mimarisinde aynı oranların elde edileceği garanti edilmemektedir.