AXIS: Tarayıcıda Toplanan 50.129 Robot Yörüngesi

Axis Robotics ile UC Berkeley, Georgia Tech ve NTU'dan araştırmacılar, robot manipülasyon verisi toplamayı tarayıcıya taşıyan AXIS sistemini yayınladı. Katkı verenler, MuJoCo'nun WebAssembly arayüzünde paralel çeneli tutucuya sahip bir Franka Research 3 kolunu klavye, fare, sanal joystick veya oyun kumandasıyla uzaktan kullanıyor. Fizik hesabı ve Three.js render'ı React arayüz iş parçacığının dışında çalışıyor, böylece kaydedilen durum-eylem örnekleri simülatörle hizalı kalıyor. Pahalı işler sunucuda: render 8x RTX 4090, eğitim ve değerlendirme 8x A100 üzerinde.

Yayınlanan anlık görüntüde 207 görev, 50.129 bölüm ve yedi sahne kategorisinde 60 binden fazla görev veya sahne varyantı var. Her yörünge görev üst verisi, gövde bilgisi, simülatör sürümü, robot ve nesne durumları, eylemler, başarı etiketleri ile üçüncü şahıs ve bilek RGB-D gözlemlerini taşıyor. Makale 70 binden fazla topluluk üyesinin katkısını anıyor.

Görevler elle değil üretimle yazılıyor

TaskGen adlı bileşen bir dil talimatını görev, sahne ve nesne yapılandırmalarına ayırıyor; görüntüden 3B üreten bir hat üzerinden mesh getiriyor veya oluşturuyor, makul fiziksel boyuta ölçekliyor ve 2.5D yerleşim öneriyor. Bir yerleşim denetçisi kısıtlar sağlanmazsa nesneleri taşıyor, döndürüyor ya da yeniden üretiyor. Her görevin yapılandırılmış bir başarı denetleyicisi var ve arka uç bunu yeniden çalıştırıyor.

Temizlik aşamasında eklem değişimi 5e-3 altındaki örnekler statik sayılıp atılıyor, pencere 15 ve derece 3 ile Savitzky-Golay filtresi uygulanıyor, web arayüzünün ürettiği 6-8 Hz kübik splinelarla 20 Hz'e yeniden örnekleniyor. Ortalama ivme 1,3539'dan 0,4885'e, ortalama jerk 11,5899'dan 2,2243'e düşerken tekrar oynatma başarısı %100'den %86,2'ye geriliyor.

Eğitimde π0.5 kontrol noktası kullanılıyor; LIBERO-Plus'ta π0.5 artı AXIS-%100 genel 88,8 puan alıyor, düz π0.5 83,9, yörünge sayısı eşitlenmiş RoboCasa365 kontrolü 57,5. En büyük kazanç sensör gürültüsü (+13,7) ve kamera (+11,3) eksenlerinde; ışık ve dil eksenleri 1,7 ve 1,3 puan geriliyor. Hugging Face'teki 2,36 TB'lık veri kümesi erişim onayına tabi ve ticari olmayan akademik kullanımla sınırlı, politika kontrol noktaları yayınlanmadı.

Ayrıntılar için MarkTechPost'un haberine bakabilirsiniz.