跳至正文
原文导读 · 原标题中译

论智能体式操作策略(On Agentic Manipulation Policies)

On Agentic Manipulation Policies

材料发布 2026-11-20 · arXiv · 作者论文 · 核查 2026-11-20
图6:AMP1 框架(harness)。通用人工智能模型通过运行在常驻解释器中的 Python 代码控制机器人。该通用模型在框架 SDK 之上自行构建技能。SDK 的函数分为三类:感知(sensing)、知觉(perception)和运动(motion)。 任务指令以及全部传感输入都经由该框架送达模型。 除解释器之外,模型还拥有一组辅助工具,例如查看已保存图像以及终止当前回合(为清晰起见未画出)。记忆模块(图中虚线框)用于从经验中学习(见第 2C 节)。 图片出处
图2:仿真评测。(A) 我们在四个开源仿真基准上评测 AMP1:RoboLab-120 [23],以及 CaP-Gym [18] 中的 LIBERO-PRO、robosuite 和 BEHAVIOR-1K 套件。这些任务涵盖短时程与长时程、单臂与双臂、固定底盘与移动底盘,以及可抓取与非抓取式操作。 (B) RoboLab-120 上使用默认指令(∙)、模糊指令(▼)和具体指令(▲)时的成功率。右侧数字为默认指令下的成功率。AMP1 在该基准上成功率最高,且在同时报告三种指令条件的条目中三种条件之间的相对差距最小(* 表示并非 RoboLab-120 排行榜上的官方提交;‡ 表示我们在模糊指令与具体指令条件下的评测结果)。 (C 至 E) 在 CaP-Gym 各套件上的评测,采用与 RoboLab-120 相同的框架,分为零样本与少样本等设置(◈ 表示零样本,即测试前未在该基准上训练、也未使用被评测任务的采样轨迹;◇ 表示少样本,即从被评测任务的采样轨迹中学习;□ 表示在基准的示教数据上微调;虚线表示由人类专家编写的程序 [18])。 (C) 在 LIBERO-PRO 上,AMP1 取得 95.2% 的成功率,优于零样本的 CaP-Agent0 基线、微调后的 VLA(视觉-语言-动作模型),以及除一个少样本智能体基线以外的所有基线。 (D) 在包含单臂与双臂任务的 robosuite 上,AMP1 零样本取得 100.0% 的成功率,优于所有基线。 (E) 在 CaP-Gym 的两个 BEHAVIOR-1K 移动操作任务上,AMP1 取得 96.0% 的成功率,大幅超过零样本的 CaP-Agent0 基线,并与除一个少样本基线以外的所有少样本基线持平或更优。 图片出处

内容摘要

机器人操作过去主要靠示教数据训练“专才”策略:视觉-语言-动作模型(VLA,把图像与语言直接映射成动作)和世界-动作模型(WAM,先预测世界变化再输出动作)。这篇 arXiv 预印本提出另一条路——把通用大模型留在控制回路里,由它直接指挥机械臂,并在任务推进中修改动作,作者称之为“智能体式操作策略”(AMP)。

对做机器人本体软件的工程师来说,这次的具体变化是一个“薄外壳”参考实现 AMP1:同一套代码不改就能跑单臂、双臂和移动操作;外壳不提供抓取、推送、放置这类动作原语,动作由模型每个回合自己写出来;再配一个跨回合的持久记忆库,模型权重保持不变,只累积观察、策略和代码。

结果均为作者自评、尚无独立复现:RoboLab-120 零样本成功率 85.6%,而对照的 VLA、WAM 是 49.2% 和 42.9%;真机十二个任务、三台机器人共 108 次试验成功 104 次,作者称失败率比 VLA、WAM 基线低 20 倍和 15 倍;CaP-Gym 的 LIBERO-PRO 子集为 95.2%,同为零样本智能体的 CaP-Agent0 为 18.2%。带记忆版在 RoboDojo 的 42 个双臂任务上,未见布局成功率从 26.4% 升到 84.1%,顺序单遍连续学习升到 57.6%。外壳实现细节会直接改变结果:启用错误恢复(RfE)时真机成功 104/108,去掉该接口后为 94/108;辅助性的抓取/放置例程则对模型强弱作用相反,强模型加辅助外壳最多掉 7.5 分,弱模型最多涨 17.6 分。

85.6% 不宜直接当作策略能力上限:作者逐条复盘失败回合后称,约三分之二来自基准本身(121/173 与 135/206),主要是物体宽度或质量分布与标准平行夹爪不兼容,以及校验器误拒已满足指令的终态。作者自陈的限制是策略慢、轨迹执行中无法改写、评测以准静态场景为主。

点评

给机器人本体软件工程师,有三件事可以直接用。

第一,动作原语可以不给。AMP1 的外壳只提供感知与运动接口以及错误恢复,抓取、推送、放置由模型在每个回合现场写成代码;同一套外壳因此能覆盖单臂、双臂和移动操作,也不需要示教数据或任务特定训练。这把“能力不够就往技能库里加动作”的思路,换成“外壳保持稳定、强度交给模型”。

第二,外壳接口的容错约定直接计入结果。启用 RfE(错误恢复)时真机是 104/108,去掉该接口后是 94/108;而辅助抓取/放置例程对不同模型的作用方向相反——最强的四个模型加了辅助外壳反而更差(最多掉 7.5 分),最弱的六个模型反而更好(最多涨 17.6 分),中间的模型没有收益。做本体软件的人需要自己划定接口边界、错误恢复与辅助例程的取舍,而不是默认“多给点能力总没错”。

第三,记忆库是低成本的能力增量。模型权重不动、不做梯度更新,只记录观察、策略和代码,RoboDojo 双臂任务上未见布局的成功率就从 26.4% 提到 84.1%,单遍顺序连续学习到 57.6%,并且能迁移到还没尝试过的任务而不抹掉已有收益。

需要保留的判断:这些数字目前只有作者自评的预印本支撑,没有独立复现;对照的 VLA、WAM 成绩取自公开榜单条目,不是作者在同一环境下统一复测,而且当时榜单上最强的条目本身也是智能体(SenseNova-RoboRSI,57.1%),最强学习策略 Lakeside 为 51.0%。另外作者自己指出,LIBERO-Goal 上失败的回合几乎都是智能体自认为已经成功,人工复核认为它对指令的理解与人类一致、却与基准校验器不一致——基准分数与实际可用性之间仍有一段距离。

证据等级:arXiv 预印本、作者自评,尚无独立复现。对照项取自公开榜单条目,不是统一环境下的复测。

对比口径:85.6% 与 49.2%、42.9% 是作者自评与榜单条目混列的结果,不是同一批重测;LIBERO-PRO 上更高的 96.5%(HarnessPAI)并非零样本,它在评测集内部的种子上演化程序,不能与零样本结果直接并列。

数字解读:作者称约三分之二的失败来自基准自身(121/173 与 135/206),原因是物体宽度或质量分布与标准平行夹爪不兼容,以及校验器误拒已满足指令的终态,因此 85.6% 不宜直接当作策略能力上限;RoboDojo 的 26.4%→84.1% 是逐任务练习后的未见布局结果,与零样本条件不同,不能混为一谈。

方法边界:策略慢,机器人大部分时间在等模型推理;轨迹执行过程中模型无法重新决策;评测以准静态场景为主,移动目标或滑落物体要等模型下一轮才能响应。

版本与核查范围

版本 2611.09892v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;#S2.SS1.SSS1.p2.1;#S2.SS1.SSS1.p6.1;#S2.SS1.SSS1.p6.1;#S1.p6.1;#S2.SS2.SSS0.Px10.p2.1;#S5.SS1.p4.1;#S2.SS4.SSS2.Px3.p1.1;#S3.SS2.p1.1;#S5.SS6.p2.1