Claude ve Codex İçin Üretim Düzeyinde CUDA Çekirdekleri Yazma Yeteneği Tanıtıldı
Kaynak: huggingface.co ·
Kodlama ajanlarına üretim düzeyinde CUDA çekirdekleri yazmayı öğreten yeni bir ajan yeteneği geliştirildi. Claude ve Codex gibi yapay zeka ajanları, bu yetenek sayesinde diffusers ve transformers modelleri için çalışan özel çekirdekler, PyTorch bağlamaları ve kıyaslama betikleri üretebildi. Testlerde izole RMSNorm çekirdeği PyTorch karşılaştırma düzeyine göre ortalama 1.88x ila 1.94x hızlanma sağladı. Geliştirilen çekirdekler Nix kullanılarak derlenip HuggingFace Kernel Hub üzerinden paylaşılabiliyor.
Neden önemli?
Özel CUDA çekirdeği yazmak donanım mimarisi ve kütüphane entegrasyonu nedeniyle oldukça zordur. Bu yetenek, uzmanlık gerektiren süreci otomatikleştirerek geliştiricilerin uzun-bağlam çıkarımlarında gecikmeyi yarı yarıya düşürmesini ve performansı artırmasını sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Kodlama ajanına özel bir RMSNorm çekirdeği yazdırıp PyTorch bağlamaları ve kıyaslama betikleriyle birlikte eksiksiz bir proje oluşturmak.
- Olası kullanım: Oluşturulan CUDA çekirdeklerini Nix yardımıyla tüm PyTorch ve CUDA konfigürasyonları için derleyip HuggingFace Kernel Hub üzerinde yayınlamak.
Somut sonuçlar ve kanıtlar
- LTX-Video üzerinde yapılan izole RMSNorm kıyaslamasında özel çekirdek PyTorch karşılaştırma düzeyine göre ortalama 1.88x hızlanma ve H100 teorik bant genişliğinin %34.7'sini sağladı. (Üreticinin açıklaması)
- Qwen3-8B üzerinde yapılan izole RMSNorm kıyaslamasında özel çekirdek ortalama 1.94x hızlanma ve H100 teorik bant genişliğinin %22.3'ünü sağladı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çekirdek optimizasyonları ve testler H100 80GB HBM3 donanımında ve BFloat16 hassasiyetinde gerçekleştirilmiştir; diğer donanım ve hassasiyet seviyelerindeki sonuçlar değişiklik gösterebilir.