GPT-OSS Modeli İçin Ajan Odaklı Pekiştirmeli Öğrenme Eğitimi ve Dikkat Havuzu Desteği
Kaynak: huggingface.co ·
GPT-OSS modeli üzerinde ajan odaklı pekiştirmeli öğrenme eğitimini etkinleştirmek için bir dizi mühendislik çalışması yapıldı. Çalışmada, Uzmanlar Karışımı mimarisindeki olasılık uyumsuzlukları ve FlashAttention v3 içerisinde dikkat havuzu (attention sink) geri yayılım eksikliği gibi temel teknik zorluklar ele alındı. Geliştirilen çözümler ve bellek optimizasyonları sayesinde, tek adımlı matematik akıl yürütmesinden çok adımlı araç kullanımına kadar çeşitli pekiştirmeli öğrenme görevlerinde kararlı eğitim ve daha hızlı yakınsama sağlandı.
Neden önemli?
Ajan tabanlı uygulamalar, sistemlerin eksik bilgiler üzerinde akıl yürütmesini, yapılandırılmış servislerle etkileşime girmesini ve çok adımlı iş akışlarını yürütmesini gerektirir. Bu optimizasyonlar, açık kaynaklı dil modellerinin karmaşık, çok adımlı karar verme süreçlerinde kararlı bir şekilde eğitilmesine olanak tanır ve geliştiricilerin ölçeklenebilir yapay zeka sistemleri kurmasını kolaylaştırır.
Bununla neler yapılabilir?
- Olası kullanım: Rekrutörler, iş arayanlar ve öğrenciler gibi son kullanıcıların hedeflerini destekleyen bilgi getirme ve araç koordinasyonu gibi çok adımlı iş akışları yürütme.
- Olası kullanım: Modelin kod derleyici aracı yardımıyla bir matematik problem çözdüğü ReTool gibi ajan tabanlı kodlama görevleri gerçekleştirme.
- Olası kullanım: GSM8K gibi veri setleri üzerinde tek adımlı matematik akıl yürütme görevlerinde model performansı sağlama.
Somut sonuçlar ve kanıtlar
- FlashAttention v3 içerisindeki dikkat havuzu düzeltmesi uygulandıktan sonra, GPT-OSS-20B modeli GSM8K, VerifyIf ve ReTool görevlerinde kararlı eğitim ve kararlı ödül iyileştirmesi gösterdi. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Dağıtık eğitim sırasında aşırı bellek ayırma sorunları ve donanım gereksinimleri (örneğin 16 adet H200 düğümü) gibi ölçeklenebilirlik sınırları bulunmaktadır. Dikkat havuzu geri yayılım uygulaması ve diğer bazı düzeltmelerin ana depolara entegrasyonu için iç inceleme süreçlerinin tamamlanması beklenmektedir.