Nemotron-Personas-India: Hindistan Odaklı İlk Açık Sentetik Kişilik Veri Seti Tanıtıldı
Kaynak: huggingface.co ·
Hindistan'ın demografik, coğrafi ve kültürel dağılımlarıyla uyumlu ilk açık sentetik kişilik veri seti olan Nemotron-Personas-India yayınlandı. CC BY 4.0 lisansıyla ticari ve ticari olmayan kullanıma sunulan bu set, gizliliği koruyan ve düzenlemelere hazır bir altyapı sağlamaktadır. NeMo Data Designer kullanılarak üretilen veri seti; İngilizce ve Hintçe dillerini, Devanagari ve Latin betiklerini desteklemektedir. 21 milyon toplam kişilik barındıran bu koleksiyon, toplamda 7,7 milyar token içermektedir ve Nemotron modelleri ile diğer açık kaynaklı büyük dil modelleriyle sorunsuz entegrasyon sunmaktadır.
Neden önemli?
Çoğu açık veri seti Batı normlarını yansıttığı için Hindistan'ın çok dilli yapısında yapay zeka benimsenmesini sınırlamaktadır. Bu veri seti, geliştiricilerin yerel kültürel bağlamı, meslekleri ve dil çeşitliliğini kavramış yapay zeka sistemleri ve bölgesel asistanlar geliştirmesini sağlar.
Bununla neler yapılabilir?
- Olası kullanım: Hindistan'ın çok dilli ve çok betikli ortamına uygun çok dilli sohbet robotları geliştirmek.
- Olası kullanım: Yerel sosyal, mesleki ve kültürel nüansları yakalamak için modelleri ince ayardan geçirmek.
- Olası kullanım: Çeşitli topluluklar arasında genelleme yapabilen bölge farkındalığına sahip yapay zeka ajanları tasarlamak.
Somut sonuçlar ve kanıtlar
- Nemotron-Personas-India, toplamda 21 milyon kişilik (3 milyon kayıt çarpı 7 kişilik) veri barındırmaktadır. (Üreticinin açıklaması)
- Veri seti, hem persona token'larını hem de diğer verileri içeren toplam 7,7 milyar token büyüklüğündedir. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Veri seti gerçek kişilere ait verileri içermemekte olup tamamen sentetiktir ve 2011 Nüfus Sayımı ile Ayrıştırılmış Hint Seçmen Listesi verilerine dayanmaktadır.