内容摘要
灵巧手操作不只把物体挪到位,还要把手绕着物体摆好,维持有效接触、为后续动作留条件。论文的例子很直接:同一个杯子,捏杯沿、捏杯把、捏杯身时物体位姿可以完全相同,但稳定性、功能和后续能做的操作并不一样,所以只指定物体状态的目标表达不了这些差别。
DexHOT 的做法是把灵巧操作改写成"手-物构型迁移":一个构型同时给出手的关节构型和物体相对手腕的位姿,迁移就是在两个可行构型之间移动。论文强调,这把目标控制的基本单位从物体状态换成了手-物关系,物体运动和最终的手部摆放都能被显式指定。
怎么落地:控制器从合成出来的可行构型对中学一个可复用的、以来构型关系为条件的迁移原语,训练不需要人类参考动作;长时程任务用分层串联实现,构型子目标可以由贪心规划给出,也可以由一次人类演示给出,策略闭环跟踪这些子目标。真机侧不做微调:与仿真相同的 22 自由度 Sharpa Wave 灵巧手装在 7 自由度 Franka Emika Panda 臂上,策略以 30 Hz 运行;当前构型由关节编码器和 FoundationPose 重建后用于反馈,子目标按 1 Hz 更新,策略全程冻结。
结果(均为作者自评):作者同期发布基准 DexHOTBench,含 120 个物体,其中 80 个留出(训练类别的未见实例与新类别物体各 40 个)。同一个策略在全部 120 个物体上、close 与 far 两档迁移的平均成功率为 73.1%,见过物体 80.5%、留出物体 69.4%;真机 200 次迁移成功率 61.5%。成功判据是构型距离进入容差(20 mm)并连续 10 个控制步保持,且过程中不掉落物体。
演示引导的长时程任务共 30 次试验,统一按三阶段判据打分:27/30(90%)完成全部三阶段,货架放置、积木装配、盐瓶摇晃、倒水四项任务所有试验通过。消融方面,把种群式探索(EPO)换成同环境量的单个 PPO 智能体后,最好的训练检查点在邻近距离迁移上也只有 11.5%、中距离 2.5%,远距离没有一次完成。
点评
对做灵巧手控制与本体软件的工程师,最值得借鉴的是目标接口:把"目标"从物体位姿扩展为手-物关系(论文用一个杯子的例子说明只指定物体状态是不够的)。实现上,上层由贪心规划或一次人类演示给出构型子目标,子目标以 1 Hz 更新;下层一个冻结策略在 30 Hz 上闭环跟踪,负责中间手部动作、手指步态和换握,物体运动与最终手部摆放都能被显式指定。上游来源(规划或演示)与底层控制实现分开,换上游来源时不必重写底层控制。文中所有成功率均为作者在自建基准与自测协议下的自评,尚未见独立复现。
条件与范围有限:只验证了掌下(palm-down)操作,手必须主动对抗重力维持物体;真机为单只 22 自由度手,未做微调。真机失败集中在四类:低摩擦物体上打滑或旋转发展太快,闭环来不及恢复;初始化构型在硬件上勉强稳定、无法准确复现;重定向中途停滞(可能与摩擦失配、Sharpa 关节侧向运动或仿真与实际碰撞几何差异有关);以及 FoundationPose 偶发丢失位姿跟踪、拿不到有效位姿估计。数字口径也要注意:真机 61.5%(200 次迁移)与仿真中见过物体 80.5%(DexHOTBench 上物理验证过的构型池与固定迁移对)来自两套不同评估协议,不宜直接对比;仿真数字出自作者自建基准与作者自评。全部数字均为 arXiv 预印本替换公告版本中的作者自评,尚未见独立复现。
版本与核查范围
版本 2611.05119v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p4.1;#abstract1.1;#S4.p2.1;#S3.SS3.p3.1;#S5.SS1.SSSx2.p1.1;#S4.SS3.p1.1;#S1.p6.1;#S5.SS5.SSSx4.p1.1;#S5.SS3.SSSx2.p1.1;#S2.SS1.p1.1;#S5.SS4.SSSx4.p1.1
