Ettin Ailesi: Aynı Veri ve Mimariyle Eğitilen Eşleştirilmiş Kodlayıcı ve Kod Çözücü Modeller
Kaynak: huggingface.co ·
Ettin adıyla tanıtılan yeni model ailesi, tamamen aynı açık veri, mimari ve eğitim reçetesi kullanılarak eğitilen, 17 milyon ile 1 milyar parametre arasında değişen altı farklı boyutta kodlayıcı ve kod çözücü modeller sunmaktadır. Bu çalışma, maskeli dil modelleme ve nedensel dil modelleme hedeflerinin doğrudan karşılaştırılmasına olanak tanır. Kodlayıcı modeller sınıflandırma ve getirme görevlerinde benzer boyuttaki kod çözücülerden daha iyi performans gösterirken, kod çözücüler üretim görevlerinde öne çıkmaktadır. Eğitim süreci; 1,7 trilyon token ön eğitim, 250 milyar token bağlam uzatma ve 100 milyar token azaltım olmak üzere üç aşamadan oluşur.
Neden önemli?
Bu çalışma, farklı veri setleri ve reçeteler nedeniyle bugüne kadar adil bir şekilde yapılamayan kodlayıcı ve kod çözücü mimari karşılaştırmalarını aynı koşullar altında yapma imkanı sağlar. Geliştiriciler ve araştırmacılar, sınıflandırma, getirme veya metin üretimi gibi farklı iş yükleri için hangi mimarinin daha verimli olacağını doğrudan görebilir.
Bununla neler yapılabilir?
- Olası kullanım: Sınıflandırma ve metin getirme iş akışlarında kodlayıcı modellerin kullanılması
- Olası kullanım: Otoregresif metin üretimi görevleri için kod çözücü modellerin tercih edilmesi
Somut sonuçlar ve kanıtlar
- 150M boyutundaki bir kodlayıcı, MNLI sınıflandırma görevinde 400M boyutundaki bir kod çözücüyü geride bırakmaktadır (89.2'ye karşın 88.2). (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modellerin eğitiminde kullanılan veriler ve reçeteler tamamen açık olmasına rağmen, farklı kullanım senaryolarındaki donanım kısıtları ve ince ayar gereksinimleri belirsizliğini korumaktadır. Çapraz hedefli eğitim denemeleri, kodlayıcıdan kod çözücüye geçişlerde yerel modellere kıyasla performans düşüşleri yaşandığını göstermiştir.