内容摘要
问题:机器人演示分散在不同本体上——一台机器学会把杯子放上架,另一台学会把容器放进抽屉,让第二台去放杯子就是"熟悉机器人 + 熟悉技能"的缺失组合;在每台机器人上把每个任务都采一遍,开销是两个集合规模之积。难点在于动作标签是关节向量,它绑定在演示者自己的运动学链上,条目含义取决于关节数、连杆几何、关节约定和安装方式,因此合并多本体数据时缺的正是跨本体的物理对应。
做法:作者提出几何监督训练框架。共享编码器把关节指令映射到共享动作坐标,每个机器人配一个原生解码器,把共享坐标还原成本体的关节指令;标定后的正向运动学(FK,即由机器人几何、关节限位、安装变换与工具标定算出末端位姿与夹爪开度)把解码结果换算到统一任务坐标系,与源演示给出的末端目标比对,因此即使没有外机关节标签也能训练外机解码器。只有当数值逆运动学(IK,即在关节限位与位姿容差内搜索可达解)找到有限解时,该末端目标才被用作跨机器人监督。接口训练结束后冻结编码器与全部原生解码器,策略随后在共享动作坐标上重新训练——保留各骨干原有的流目标(flow matching,即由噪声向目标动作预测速度场)、观测条件与训练曝光量,只把动作接口换成这一层——再通过目标机器人的原生解码器执行;Full 变体还会额外开启一条策略阶段的几何(FK)损失,这条损失会直接更新策略参数,需要在策略训练中单独开启与评估。
结果(全部来自仿真):覆盖两个仿真系统与三个策略骨干,表 1、表 2 中每个任务评测 1,000 回合,并分别对已见与留出组合的任务平均成功率取平均。RoboTwin 上 OpenWAM 的留出组合成功率由原生关节基线的 34.8% 提升到 46.5%(已见由 75.3% 提升到 78.7%);ManiSkill3 上 Full 的已见成功率 79.7–81.3%、留出 28.6–43.5%,而直接预测关节坐标的原生策略在留出组合只有 3.1–11.6%。消融中,跨机器人接口监督(Cross)相对只用原生重建(Source)把留出成功率提高 9.5 个百分点(OpenWAM)与 8.6 个百分点(FastWAM)。
点评
对做本体软件和部署的工程师,实用价值是把"关节标签"换成一个可标定、可冻结的中间层:共享动作坐标 + 每台机器人自己的原生解码器。带来的变化是,以前没采过的机器人—技能组合,可以由别的机器人的演示提供监督,而三个策略骨干沿用自己原有的动作模型结构、流目标与观测条件,改动集中在动作接口这一层。
但要说清落地成本:这不等于"策略侧不用动"。策略必须在新的共享动作坐标上重新训练(接口只提供共享动作目标与原生实现,观测相关的技能判断仍由策略主干从图像、指令和本体状态中学习),训练完成后由目标机器人的解码器把预测动作还原成本体的关节指令去执行;若采用 Full 变体,策略阶段还要额外开启几何(FK)损失,这项损失通过冻结但保留梯度的解码器与 FK 更新策略本身,需要单独训练与评估。所以准确的描述是:骨干架构、流目标、观测条件与训练曝光量不变,动作接口与策略训练适配需要做。
接入点也很明确:每台机器人的运动学描述、关节限位、安装变换与工具标定必须已知;接口层训练完即冻结,运行时按机器人身份切换对应的原生解码器与归一化,动作生成路径不变。另外该方法要求每台机器人都有自己的原生演示数据(每台被评测机器人都出现在策略训练中),因此不能直接用于完全没有任何本体数据的机器人。
另外两点有助于判断能否落地:一是跨机器人监督只是位姿级约束,轨迹连续性、避碰和是否真正接触成功仍要在实际执行中检验;二是论文自己分析指出,只做原生重建不足以确定外机解码结果的物理含义,这正是必须显式引入几何对应的原因。
证据范围:本文是 arXiv v1 预印本(作者自述),全部实验在两个仿真系统中完成,每个任务评测 1,000 回合;本次材料中未见真机实验,也未见第三方复现的证据,因此这些结果不能直接当作真机落地效果。
前提与约束:方法要求每台机器人的运动学描述、关节限位、安装变换与工具标定已知,且每台机器人需要有自己的原生演示数据;方法包含两个训练阶段(动作接口训练与策略训练),策略需在共享动作坐标上重新训练,策略阶段的几何损失要单独开启和评估。
尚未解决:跨机器人监督是位姿级约束,轨迹连续性、避碰与成功接触仍需在执行中检验;留出组合成功率仍明显低于已见组合(RoboTwin 上 OpenWAM 的 Full 为已见 78.7%、留出 46.5%)。
引用说明:表 1 中第一行骨干的名称(π0.5)在原文中以公式标记形式呈现,无法逐字核对,因此本报告不引用该行数字;表 1 其余两行(OpenWAM、FastWAM)以及正文以文字给出的跨骨干区间均可逐字核对,本报告的数字均取自这些部分。
版本与核查范围
版本 2611.22797v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p2.1;#S3.SS1.p1.2;#S4.SS1.p1.2;#S3.SS2.p2.1;#S4.SS3.p1.2;#S5.SS1.p3.1;#S4.SS4.p1.2;#S5.SS1.p1.1;#S4.T1.5;#S5.SS2.p1.1;#S5.SS3.p2.1
