24 Saatte Metinden Görsele Yapay Zeka Modeli Eğitimi
Kaynak: huggingface.co ·
Araştırmacılar, piksel uzayında doğrudan eğitim, algısal kayıplar, belirteç yönlendirme, temsil hizalama ve Muon optimizasyonunu birleştirerek 24 saatlik bir hız denemesi gerçekleştirdi. Toplam 32 adet H200 grafik işlemcisi ve yaklaşık 1500 dolarlık toplam hesaplama bütçesi kullanılarak sıfırdan bir metinden görsele difüzyon modeli eğitildi. Eğitim süreci 512 piksel çözünürlükte 100 bin adım ile başlayıp 1024 piksel çözünürlükte 20 bin adım ince ayar ile devam etti. Çalışmanın tüm kodları ve deneysel çatısı açık kaynak olarak paylaşıldı.
Neden önemli?
Bu yaklaşım, geçmişte milyonlarca dolar maliyet gerektiren rekabetçi model eğitim maliyetlerini çok daha erişilebilir bir seviyeye indiriyor. Dikkatli mühendislik ve modern bileşenlerin birleşimiyle tek bir günde işlevsel bir model üretilebileceğini kanıtlıyor.
Bununla neler yapılabilir?
- Olası kullanım: Araştırmacılar açık kaynak kodları kullanarak kendi özel veri setleriyle hızlı difüzyon modeli deneyleri gerçekleştirebilir.
- Olası kullanım: Geliştiriciler piksel uzayında doğrudan eğitim ve algısal kayıp bileşenlerini kendi görsel üretim boru hatlarına uyarlayabilir.
Somut sonuçlar ve kanıtlar
- 32 adet H200 grafik işlemcisi kullanılarak yaklaşık 1500 dolarlık toplam hesaplama bütçesiyle 24 saatlik bir hız denemesi gerçekleştirildi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Eğitim süreci tüketici sınıfı donanımda gerçekleştirilemedi ve 32 adet üst düzey H200 grafik işlemcisi gerektirdi. Model henüz kusursuz değil; bazı doku bozulmaları, anatomik hatalar ve zor komutlarda tutarsızlıklar görülebiliyor.