vLLM Sürüm V1'e Taşıma Sürecinde Çevrimiçi Pekiştirmeli Öğrenme İçin Arka Uç Doğruluğu Sağlama Yöntemi
Kaynak: huggingface.co ·
Pekiştirmeli öğrenme süreçlerinde çıkarım motorunu vLLM V0 sürümünden V1 sürümüne taşıma çalışmaları sırasında yaşanan uyumsuzluklar incelenmiştir. Yapılan incelemelerde, eğitim ve çıkarım aşamalarındaki logprob hesaplama farklılıklarının eğitim dinamiklerini olumsuz etkilediği tespit edilmiştir. Sorunun çözümü için nesne düzeltmelerinden önce arka uç doğruluğuna odaklanılmış ve dört temel düzeltme uygulanmıştır. Bu düzeltmeler sonucunda yeni V1 sürümünün V0 referans sonuçlarıyla uyumlu hale geldiği görülmüştür.
Neden önemli?
Bu çalışma, pekiştirmeli öğrenme altyapılarında model güncellemeleri ve motor değişimleri sırasında karşılaşılan gizli tutarsızlıkların eğitim süreçlerini nasıl saptırdığını göstermesi açısından önemlidir. Yapay zeka araştırmacıları ve mühendisleri, yanlış varsayımlara dayalı nesne düzeltmeleri yapmak yerine öncelikle altyapı ve çıkarım motoru uyumunu sağlayarak daha kararlı eğitim eğrileri elde edebilirler.
Bununla neler yapılabilir?
- Olası kullanım: Büyük dil modelleri için çevrimiçi pekiştirmeli öğrenme altyapılarında vLLM V1 motoruna geçiş yapılırken logprob anlamlarının ve işleme ayarlarının (logprobs-mode=processed_logprobs) eşleştirilmesi.
- Olası kullanım: Model ağırlık güncellemelerinde önbellek temizleme ve yürütme engelleme adımlarının V0 referans davranışına göre yapılandırılması.
Somut sonuçlar ve kanıtlar
- vLLM V1, işlenmiş logprob ayarları, çalışma zamanı varsayımları, ağırlık güncelleme yolları ve fp32 lm_head düzeltmeleri yapıldıktan sonra V0 referans sonuçlarıyla eşleşmiştir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çalışma yalnızca belirli bir GSPO eğitim deneyi ve vLLM sürümleri arasındaki geçiş senaryolarıyla sınırlıdır; tüm olası model mimarileri ve farklı pekiştirmeli öğrenme algoritmaları için genel bir kural olarak değerlendirilmemelidir.