AXIS 发布:浏览器采集的 207 项机器人操作任务与 50129 条轨迹
Axis Robotics 联合多所高校发布 AXIS,把机器人操作数据采集搬进浏览器,已开放 207 项任务和 50129 条轨迹。
Axis Robotics 与 UC Berkeley、Georgia Tech、NTU 的研究者发布了 AXIS 系统,把机器人操作数据的采集环节搬进浏览器。贡献者在基于 MuJoCo WebAssembly 的前端中,用键盘、鼠标、虚拟摇杆或游戏手柄遥操作一台带平行夹爪的 Franka Research 3。物理步进和 Three.js 渲染运行在 React 界面线程之外,因此记录下的状态-动作样本与模拟器保持对齐。计算密集的部分放在后端:渲染使用 8 张 RTX 4090,训练与评测使用 8 张 A100。
本次发布的快照包含 207 项任务、50129 个回合,以及跨七类场景的 6 万多个任务或场景变体。每条轨迹都带有任务元数据、本体信息、模拟器版本、机器人与物体状态、动作、成功标签,以及第三人称视角和腕部的 RGB-D 观测。论文提到有超过 7 万名社区成员参与贡献。
任务由生成而非手写
TaskGen 组件把语言指令拆解为任务、场景和物体配置,通过图像转三维的流程检索或生成网格,缩放到合理的物理尺寸,再给出 2.5D 布局方案。布局监督器在约束不满足时会移动、重定向或重新生成物体。每项任务都配有结构化的成功检查器,后端会重新运行它,而不是直接相信前端的成功标记。
数据清洗阶段,关节变化低于 5e-3 的样本被判为静止并丢弃;使用窗口 15、多项式阶数 3 的 Savitzky-Golay 滤波器平滑连续运动;再用三次样条把网页端产生的 6 Hz 至 8 Hz 重采样到 20 Hz。代价写得很直白:平均加速度从 1.3539 降到 0.4885,平均 jerk 从 11.5899 降到 2.2243,而回放成功率从 100% 降到 86.2%。
训练均从已发布的 π0.5 检查点起步。在 LIBERO-Plus 上,π0.5 加 AXIS-100% 的总分为 88.8,原始 π0.5 为 83.9,轨迹数量对齐的 RoboCasa365 对照组为 57.5;25%、50%、100% 快照对应 84.7、85.7、88.8。分维度看,传感器噪声提升 13.7 分、相机提升 11.3 分,而光照和语言两项分别下降 1.7 和 1.3。Hugging Face 上 2.36 TB 的数据集需申请权限,仅限非商业学术用途,策略检查点未发布。
更多细节见 MarkTechPost 报道。