Hugging Face ve Dask ile Yüz Milyonlarca Satırlık Yapay Zeka Veri İşleme Süreçlerinin Ölçeklenmesi
Kaynak: huggingface.co ·
Bu makale, büyük boyutlu yapay zeka veri setlerini işlemek ve model çıkarımı yapmak için dağıtık hesaplama kütüphanesinin nasıl kullanılabileceğini gösteriyor. Yazarlar, yerel makinede pandas ile küçük bir örnek üzerinde yapılan testleri, bulut üzerinde çoklu grafik işlemciler kullanarak 211 milyon satıra nasıl taşıdıklarını anlatıyor. Bu yöntem, bellek sınırlarını aşarak yüzlerce gigabaytlık verilerin Parquet formatında verimli bir şekilde işlenmesine ve kaydedilmesine olanak tanıyor.
Neden önemli?
Yapay zeka veri setleri yüzlerce gigabayttan terabaytlara ulaştığı için tek makinede seri işleme yapmak aşırı derecede yavaştır. Bu entegrasyon, veri bilimcilere ve mühendislere altyapı karmaşıklığıyla boğuşmadan küçük ölçekli testlerden devasa bulut kümelerine geçiş imkanı tanır.
Bununla neler yapılabilir?
- Olası kullanım: FineWeb veri setinden 211 milyon satırı bulut üzerinde çoklu grafik işlemci kullanarak paralel model çıkarımı ile işlemek
- Olası kullanım: İnternetten kazınan metin verilerini temizlemek veya genomik verileri filtreleyerek ilgi çekici genleri seçmek
Somut sonuçlar ve kanıtlar
- The entire 2024 February/March crawl is 432 GB on disk, or ~715 GB in memory, split up across 250 Parquet files. The workflow took ~5 hours to complete and we had good GPU hardware utilization. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Çözümün donanım, veri ve kullanılan modele göre özelleştirilmesi gerekir; bulut ortamında sanal makinelerin maliyeti ve yapılandırma gereksinimleri duruma göre değişiklik gösterebilir.