内容摘要
执行"先掀开积木盖、再盖回去"这类多步指令时,机器人要按顺序操作正确物体,并在场景变化后自己判断当前一步是否做完、何时进入下一步。作者的动机数据是:π0.5 策略在单个原子任务上成功率 85.0%,但拿到一条含 6–18 个子任务的完整指令后,平均只连续完成 0.93 个子任务。
Orchestra 是一个把任务规划与执行管理从动作生成中分离出来的智能体框架(agent harness):DeepSeek-V4.1-Flash 把多模态指令拆成有序子任务并维护共享上下文,MolmoPoint-8B 配合 SAM3 在头部相机图像上定位当前子任务涉及的物体,动作策略(π0.5 微调,每相机 6 帧历史)输出动作块,另一个独立训练的评估器输出 11 类子任务内进度;一旦判断当前子任务完成,框架丢弃待执行的动作、在当前场景重新定位下一子任务的物体,并开始一段新的视觉历史。
结果:RMBench 九个任务平均成功率 68.22%,比 Mem-0 高 26.22 个百分点;RMBench-Compose 上平均连续完成长度(ASL)7.35 个子任务,HarnessVLA 为 2.99。消融中去掉任务编排 ASL 由 7.350 降至 1.502,去掉动作策略的最近帧降至 3.758,去掉空间接地降至 6.014;而把学习到的进度判断换成仿真器真值完成信号,ASL 仅由 7.350 变为 7.374。真机四个任务上,加入空间与时间条件后子任务成功率 SSR 从 72.77% 升至 82.09%,ASL 从 2.20 升至 2.75。
条件:评估器用 6 帧历史把"按时切换"率从 77.0% 提到 96.6%(每方法 500 例);真机四个任务的指令长度只有 3–5 步,每任务每配置 20 次 rollout。
点评
对做本体软件和集成层的工程师,这套思路的价值在于:保留预训练 VLA 当动作策略,在外部加一层负责拆解指令、重新定位物体、判断"这步做完没有"的编排层,子任务边界重置视觉历史并重新接地,完成记录按 episode 保留。作者的消融提示,编排与空间接地各贡献一部分增益,而"何时切换"即使换成仿真真值也几乎不改变序列长度——瓶颈仍在动作执行本身。
结果全部出自作者论文及其自建基准与自建双臂真机平台,本次材料中没有独立第三方复现。真机四个任务的指令仅 3–5 步、每任务每配置 20 次 rollout,样本与序列长度都偏小;作者统计的 65 例真机失败中 87.7% 属动作执行问题,且即使换成仿真真值完成信号,Pick Up Object 也只完成 10 步中的 2.20 步。arXiv 摘要与 HTML 为滚动更新页,本条按 v2 修订版全文撰写,未核验后续版本与公开代码仓库内容。
版本与核查范围
版本 2610.18352v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p2.1;#abstract1.1;#S3.SS1.p2.1;#S3.SS1.p3.1;#S5.SS1.p3.1;figcaption[6];#S5.SS4.p1.1;#S5.SS4.p2.1;#S5.SS5.p2.1;#S5.SS5.p1.1;#S5.SS4.p3.1;#A5.SS4.SSS0.Px5.p1.1
