Flash Attention 2 ile Paketleme Desteği Hugging Face Eğitim Verimliliğini Artırıyor
Kaynak: huggingface.co ·
Hugging Face Transformers kütüphanesine eklenen yeni DataCollatorWithFlattening bileşeni sayesinde, dolgu tokenleri kullanılmadan gerçekleştirilen örnek paketleme yöntemi Flash Attention 2 ile tam uyumlu hale getirildi. Bu yenilik, eğitim verimliliğini artırırken yakınsama kalitesini koruyor ve model sınırlarının dikkate alınmasını sağlıyor. Aynı özellik, TRL kütüphanesindeki SFTTrainer kullanıcıları için DataCollatorForCompletionOnlyLM çağrısında padding_free=True bayrağı kullanılarak erişilebilir durumda. Çözüm, Llama 2 ve 3, Mistral, Mixtral, Granite, DBRX, Falcon, Gemma, OLMo, Phi 1, 2 ve 3, Qwen 2 ve 2 MoE, StableLM ile StarCoder 2 dahil olmak üzere position_ids özelliğini destekleyen 14 farklı model ailesiyle çalışıyor.
Neden önemli?
Önceki uygulamalarda paketleme yaparken örnek sınırlarının gözetilmemesi, Flash Attention 2 ile istenmeyen çapraz örnek dikkat mekanizmalarına ve kalite düşüşüne yol açıyordu. Bu güncelleme, GPU kaynaklarının daha verimli kullanılmasını sağlayarak eğitim sürelerini kısaltırken bellek tüketimini azaltıyor ve büyük dil modellerini eğiten araştırmacılar ile geliştiricilere maliyet avantajı sunuyor.
Bununla neler yapılabilir?
- Olası kullanım: Kısa diziler barındıran ve dizi uzunluğu varyansı yüksek FLAN gibi talimat ince ayar veri setlerinde DataCollatorWithFlattening kullanarak eğitim verimliliğini artırmak.
- Olası kullanım: TRL kütüphanesindeki SFTTrainer ile DataCollatorForCompletionOnlyLM çağrısında padding_free=True bayrağını etkinleştirerek dolgusuz eğitim gerçekleştirmek.
Somut sonuçlar ve kanıtlar
- Üreticiye göre FLAN veri setinde yapılan eğitimlerde llama2-7B, mistral-7B ve granite-8B-code modellerinde 2 kat verim artışı elde edildi. (Üreticinin açıklaması)
- Üreticiye göre daha homojen örnek uzunluklarına sahip OrcaMath veri setinde eğitim verimliliği 1.4 kat arttı. (Üreticinin açıklaması)
- Üreticiye göre FLAN veri setinde en yüksek bellek kullanımı %20 oranında azaldı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Sağlanan iyileştirmeler; kullanılan modele, veri setindeki örnek uzunluğu dağılımına ve donanıma göre değişiklik göstermektedir. Çözümün çalışması için modellerin position_ids özelliğini dışa aktarması gerekmektedir ve yazı tarihi itibarıyla yalnızca 14 model bu şartı sağlamaktadır.