NVIDIA Cosmos Reason 2, Fiziksel Yapay Zeka İçin Gelişmiş Akıl Yürütme Yeteneği Sunuyor
Kaynak: huggingface.co ·
NVIDIA, fiziksel yapay zeka uygulamaları için tasarlanan açık akıl yürütme görsel dil modeli Cosmos Reason 2'yi duyurdu. Yeni sürüm; uzay-zaman kavrayışı, 256 bin token girdi desteği, 2 milyar ve 8 milyar parametre seçenekleri ile OCR ve 2D/3D nokta yerelleştirme gibi yeteneklerle güncellendi. Model, robotların ve yapay zeka ajanlarının fiziksel dünyada adım adım plan yapmasını ve karar almasını sağlayan özellikler sunuyor.
Neden önemli?
Önceki sürüme kıyasla uzun bağlam anlaması ve hassasiyeti artıran bu model, robotik, Otonom araç eğitimi ve video analitiği alanında çalışan geliştiricilerin karmaşık fiziksel görevleri çözmesini kolaylaştırıyor.
Bununla neler yapılabilir?
- Olası kullanım: Geliştiriciler, video analitiği yapay zeka ajanları oluşturmak için video arama ve özetleme planını ve modeli kullanabilir.
- Olası kullanım: Otomotiv verilerini etiketlemek ve sürücüsüz araç eğitimi için aranabilir video altyazıları üretmek amacıyla ince ayar yapılabilir.
- Olası kullanım: Robotların nesneleri taşıması için gerekli adım ve yörünge koordinatlarını JSON çıktısı olarak elde etmek üzere robotik planlamada kullanılabilir.
Somut sonuçlar ve kanıtlar
- Otonom araç video altyazılama ve soru-cevap tarifinin ince ayarı ve değerlendirmesinde BLEU skorları %10.6 (0.113 - 0.125) arttı. (Üreticinin açıklaması)
- Çoktan seçmeli tabanlı görsel soru-cevap (MCQ-based VQA) başarısı 0.67 yüzde puanı artarak %80.18'den %80.85'e yükseldi. (Üreticinin açıklaması)
- LingoQA skoru %13.8 oranında artış göstererek %63.2'den %77.0'ye çıktı. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
Modelin bulut ve uç cihazlardaki performans sınırları, donanım gereksinimleri ve farklı endüstriyel senaryolardaki genel hata oranları kaynakta detaylı olarak belirtilmiyor.