Hugging Face Diffusers Kütüphanesine Eklenen Optimizasyonlarla Açık Kaynak Video Üretim Modelleri Tüketici Donanımında Çalıştırılabiliyor
Kaynak: huggingface.co ·
Hugging Face, açık kaynaklı video üretim modellerinin Diffusers kütüphanesindeki güncel durumunu ve bu modelleri ölçeklenebilir şekilde çalıştırmak için geliştirilen optimizasyonları paylaştı. Yüksek bellek ve işlemci gereksinimleri nedeniyle tüketici donanımlarında çalıştırılması zor olan modeller için kuantizasyon, CPU'ya taşıma ve VAE döşeme gibi teknikler sunuluyor. Uygulanan bu optimizasyonlar sayesinde HunyuanVideo gibi büyük modellerin bellek ihtiyacı önemli ölçüde düşürülebiliyor. Ayrıca geliştiricilerin açık kaynaklı video modellerini kolayca ince ayarlardan geçirebilmesi için finetrainers deposu kullanıma sunuldu.
Neden önemli?
Önceki duruma göre yüksek kaynak gereksinimleri nedeniyle erişilemeyen büyük video üretim modelleri, bellek optimizasyonları sayesinde sıradan donanımlarda çalıştırılabilir hale geliyor. Bu durum, yerel donanımda video üretmek isteyen geliştiriciler ve araştırmacılar için maliyet bariyerini düşürerek açık kaynak ekosistemine katılımı artırıyor.
Bununla neler yapılabilir?
- Olası kullanım: 121 kare ve 512x768 çözünürlükte video üretimi için HunyuanVideo modelinin 4-bit kuantizasyon, VAE döşeme, CPU'ya taşıma ve katman bazlı dönüştürme optimizasyonlarıyla yaklaşık 6.5 GB VRAM kullanarak çalıştırılması.
- Olası kullanım: Geliştiricilerin finetrainers deposunu kullanarak CogVideoX gibi açık kaynaklı video modellerini LoRA yöntemiyle belirli görsel efektler için ince ayardan geçirmesi.
Somut sonuçlar ve kanıtlar
- Applying 4bit quantization, vae tiling, cpu offloading, and layerwise casting to HunyuanVideo reduces the required VRAM to just ~6.5 GB for 121 x 512 x 768 resolution videos. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Model ağırlıklarının kuantizasyonu ve hassasiyet kayıpları, çıktıların kalitesini olumsuz yönde etkileyebilir ve bu etkiler videolarda görsellere kıyasla daha belirgindir. Optimizasyon tekniklerinin kullanılması çıkarım süresini uzatabilir; örneğin bazı kombinasyonlarda süre 1260 saniyeye kadar çıkabilmektedir.