Pollen Robotics Tarafından Geliştirilen Açık Kaynaklı Pollen-Vision Kütüphanesi 3D Nesne Tespiti Sunuyor
Kaynak: huggingface.co ·
Pollen Robotics ekibi, robotların çevrelerini algılaması ve bilinmeyen nesneleri kavrayabilmesi için tasarlanan açık kaynaklı pollen-vision kütüphanesini duyurdu. Eğitim gerektirmeyen sıfır örnekli (zero-shot) modelleri bir araya getiren bu kütüphane, 3D uzayda x, y ve z koordinatlarını hesaplayarak nesne tespiti boru hattı oluşturulmasını sağlıyor. OWL-VIT, Mobile SAM ve RAM gibi modelleri içeren sistem, kamera ve derinlik bilgisiyle nesnelerin konumunu robot çerçevesine taşıyor. İlk sürüm temel robotik manipülasyon görevleri için altyapı oluştururken, tam 6D poz tahmini henüz desteklenmiyor.
Neden önemli?
Bu kütüphane, robotların önceden eğitilmeye gerek duyulmadan yeni nesneleri algılamasını ve konumlandırmasını kolaylaştırarak geliştirme sürecini hızlandırıyor. Açık kaynaklı olması, araştırmacıların ve robotik geliştiricilerinin gerçek dünyadaki manipülasyon görevlerini daha erişilebilir hale getirmesini sağlıyor.
Bununla neler yapılabilir?
- Olası kullanım: OWL-VIT, Mobile SAM ve RAM modelleri birleştirilerek verilen metin girdilerine ve görsellere dayalı bir nesne tespiti ve bölütleme boru hattı oluşturulabilir.
- Olası kullanım: Segmentasyon maskesi içindeki piksel değerlerinin ortalaması alınarak ve kamera içsel matrisi kullanılarak nesnelerin 3D uzaydaki (x, y, z) konumları metre cinsinden tahmin edilebilir.
Somut sonuçlar ve kanıtlar
- Pollen-vision kütüphanesi, OWL-VIT, Mobile SAM ve RAM gibi sıfır örnekli modelleri birleştirerek 3D uzayda nesne tespiti yapılmasına olanak tanır. (Üreticinin açıklaması)
Sınırlar ve açık kalan sorular
İşlevsellik şimdilik tam 6D poz tahminini kapsamamaktadır ve sadece 3D uzayda konumlandırma ile sınırlıdır. Ayrıca OWL-VIT her zaman her şeyi tutarlı bir şekilde tespit edememektedir ve kareler arasında zamansal veya uzaysal tutarlılık henüz bulunmamaktadır.