NVIDIA, Etkileşimli Dünya Simülasyonu İçin Dört Yeni Cosmos 3 Açık Modelini Tanıttı
Kaynak: huggingface.co ·
NVIDIA, etkileşimli dünya simülasyonu ve çoklu sensörlü sürüş sahneleri üretmek amacıyla Cosmos dünya modeli platformuna dört yeni açık ağırlıklı kontrol noktası ekledi. Cosmos3-Nano-Transfer-Auto, farklı hava koşullarında çoklu kamera sürüş verisi üretirken; Cosmos3-Nano-Sim-Auto, kamera ve LiDAR gözlemlerini eş zamanlı akış halinde sunuyor. Sim-Transfer modeli fizik simülatörü kontrollerini foto gerçekçi videolara dönüştürürken, Sim-Bimanual iki kollu robot eylemlerinden sonraki görsel gözlemleri tahmin ediyor. Tüm bu modeller ticari ve ticari olmayan kullanıma izin veren OpenMDW1.1 lisansıyla sunuluyor.
Neden önemli?
Otonom sürüş ve robotik alanında çalışan araştırmacılar ile geliştiriciler için görünüm ile geometrinin uyumlu olduğu simülasyon ortamlarının kurulmasını kolaylaştırıyor. Ortak açık ağırlıklar ve eğitim tarifleri, farklı yöntemlerin karşılaştırılmasına ve modellere katkı sağlanmasına imkan tanıyor.
Bununla neler yapılabilir?
- Olası kullanım: Çeşitli hava koşulları ve aydınlatma senaryolarına sahip çoklu kamera sürüş verilerinin çevrim dışı sentetik olarak üretilmesi.
- Olası kullanım: Fizik simülatöründen alınan mekansal kontrollerin ve metin istemlerinin birleştirilerek renkli gözlem videolarının işlenmesi.
- Olası kullanım: İki kollu robot eylemlerinin veya kamera hareketlerinin görsel sonuçlarının etkileşimli simülasyon ortamında tahmin edilmesi.
Somut sonuçlar ve kanıtlar
- Dört yeni model, Cosmos 3 Nano model ailesine eklenmiş olup 16 milyar eğitilebilir parametreye sahiptir. (Kaynak)
Sınırlar ve açık kalan sorular
Modelin performansının politika öğrenmesini ve değerlendirmesini hangi alanlarda tam olarak desteklediğini ölçmek zor bir problemdir; hata birikimi ve model sınırlarının anlaşılması için ek çalışmalar gereklidir. Linux, NVIDIA GPU, Docker ve NVIDIA Container Toolkit gereksinimleri bulunmaktadır.