Büyük Dil Modelleri İçin 25 Milyar Token İçeren Açık Kaynaklı Cosmopedia Yapay Zeka Veri Kümesi Yayınlandı
Kaynak: huggingface.co ·
Araştırmacılar, büyük dil modellerinin ön eğitiminde kullanılmak üzere tasarlanan ve 25 milyar token içeren açık kaynaklı Cosmopedia adlı sentetik veri kümesini duyurdu. Mixtral-8x7B-Instruct-v0.1 modeli kullanılarak üretilen bu devasa veri kümesi; ders kitapları, blog yazıları, hikayeler ve wikiHow makalelerinden oluşan 30 milyondan fazla dosya barındırıyor. Proje, web verileri ve Stanford ile Khan Academy gibi eğitim kaynaklarından türetilen 30 milyondan fazla istemin titizlikle küratörlüğünden geçti. Ayrıca bu veri kümesiyle eğitilen cosmo-1b modeli kamuoyuna açıklandı ve topluluğun sonuçları yeniden üretmesi için tüm boru hattı kodları paylaşıldı.
Neden önemli?
Daha önceki süreçlerde dil modelleri için veri seti hazırlamak yüksek maliyetli ve insan annotatörlere bağımlı bir süreçti. Bu açık kaynaklı çalışma, sentetik verilerin şeffaf bir şekilde üretilmesine olanak tanıyarak araştırmacıların ve geliştiricilerin sıfırdan küçük dil modelleri eğitmesini kolaylaştırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Büyük dil modelleri için sıfırdan ön eğitim süreçlerinde maliyetli insan etiketli veriler yerine geniş kapsamlı sentetik ders kitapları ve makaleler kullanmak.
- Olası kullanım: Çeşitli yaş grupları ve hedef kitleler için özelleştirilmiş sentetik hikaye ve eğitim materyalleri üretmek.
Sınırlar ve açık kalan sorular
Üreticiye göre, Mixtral modeli özellikle tarihsel gerçekler veya matematiksel akıl yürütme gibi konularda hatalı bilgiler (halüsinasyon) üretebiliyor ve bu durum verilerin doğruluğunu sınırlayabiliyor.