AXIS 发布:浏览器采集的 207 项机器人操作任务与 50129 条轨迹

Axis Robotics 联合多所高校发布 AXIS,把机器人操作数据采集搬进浏览器,已开放 207 项任务和 50129 条轨迹。

Paylaş
AXIS 发布:浏览器采集的 207 项机器人操作任务与 50129 条轨迹

Axis Robotics 与 UC Berkeley、Georgia Tech、NTU 的研究者发布了 AXIS 系统,把机器人操作数据的采集环节搬进浏览器。贡献者在基于 MuJoCo WebAssembly 的前端中,用键盘、鼠标、虚拟摇杆或游戏手柄遥操作一台带平行夹爪的 Franka Research 3。物理步进和 Three.js 渲染运行在 React 界面线程之外,因此记录下的状态-动作样本与模拟器保持对齐。计算密集的部分放在后端:渲染使用 8 张 RTX 4090,训练与评测使用 8 张 A100。

本次发布的快照包含 207 项任务、50129 个回合,以及跨七类场景的 6 万多个任务或场景变体。每条轨迹都带有任务元数据、本体信息、模拟器版本、机器人与物体状态、动作、成功标签,以及第三人称视角和腕部的 RGB-D 观测。论文提到有超过 7 万名社区成员参与贡献。

任务由生成而非手写

TaskGen 组件把语言指令拆解为任务、场景和物体配置,通过图像转三维的流程检索或生成网格,缩放到合理的物理尺寸,再给出 2.5D 布局方案。布局监督器在约束不满足时会移动、重定向或重新生成物体。每项任务都配有结构化的成功检查器,后端会重新运行它,而不是直接相信前端的成功标记。

数据清洗阶段,关节变化低于 5e-3 的样本被判为静止并丢弃;使用窗口 15、多项式阶数 3 的 Savitzky-Golay 滤波器平滑连续运动;再用三次样条把网页端产生的 6 Hz 至 8 Hz 重采样到 20 Hz。代价写得很直白:平均加速度从 1.3539 降到 0.4885,平均 jerk 从 11.5899 降到 2.2243,而回放成功率从 100% 降到 86.2%。

训练均从已发布的 π0.5 检查点起步。在 LIBERO-Plus 上,π0.5 加 AXIS-100% 的总分为 88.8,原始 π0.5 为 83.9,轨迹数量对齐的 RoboCasa365 对照组为 57.5;25%、50%、100% 快照对应 84.7、85.7、88.8。分维度看,传感器噪声提升 13.7 分、相机提升 11.3 分,而光照和语言两项分别下降 1.7 和 1.3。Hugging Face 上 2.36 TB 的数据集需申请权限,仅限非商业学术用途,策略检查点未发布。

更多细节见 MarkTechPost 报道。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından