内容摘要
要解决的是人形机器人移动操作(边走边操作)策略的训练数据来源。以往这类数据靠遥操作真机示范采集,每条都要一名受训操作员实时操控真机并穿着可穿戴动捕设备;第一视角眼镜能免掉机器人,但只跟踪头部和视野内的手,人机身高、臂展和手部形态不同,照搬动作产生不了可行接触。
Ego2Sim2Humanoid(E2S2H)把眼镜录像转成经物理验证的机器人训练轨迹:智能体分阶段重建碰撞体与贴图网格,必要时补全未观测表面,并在被操作物体上定位目标接触带;抓取规划把接触带转成可行的机器人腕姿与手指闭合,双层优化规划无碰撞且手部可达的站姿,全身运动生成器补出下肢行走与视野外的手臂动作;再以运动学方式混合可见性切换,并在物理仿真中用智能体设计的语义奖励训练强化学习跟踪策略,物体移出画面后仍能完成操作阶段。图像、本体感知和动作都来自同一条仿真轨迹,视觉与控制不需要另外对时。
采集只用 Aria Gen 2 眼镜、不用机器人和动捕:抬瓶任务 219 段、戴帽任务 154 段,各配一条语言指令;过筛后分别剩 189 段和 59 段,主因是帽壁只有几毫米厚,抓取碰到帽子却夹不住。真机是 29 自由度 Unitree G1,配 Dex3 灵巧手和头部相机。只用转换数据微调 GR00T N1.7(3B)、不用目标任务的真机数据:抬瓶 20 次自主试验成功 9 次(45%),戴帽 20 次成功 5 次(25%),失败集中在抓取环节。
作者用两个基线的公开代码在同批戴帽录像上做对比:EgoHumanoid 与 EgoHumanoid-V2 的路径比例中位 0.5–0.6、手距接触区中位 70.8–112.9 厘米、可行抓取数为 0;E2S2H 的路径比例为 0.9、手距 0.8 厘米,71 段中 57 段找到可行抓取(完整版 EgoHumanoid-V2 只在其完成的 8 段留出录像中的 6 段上评估)。复制人手掌的对照显示:71 段里有 65 段,复制人手掌让拇指和食指陷进帽壁更深,穿透中位从 0.8 厘米升到 1.8 厘米;两者成功次数接近(56 比 53),差别在接触质量而不是成功率。
点评
对做本体软件和数据管线的工程师,这条链路值得看的地方在两端。采集端从"受训操作员+真机+动捕"换成"人戴眼镜走一遍",数据采集的门槛结构完全不同;判定端把"接触到底成不成立"交给物理仿真——够不着、夹不住的轨迹先在仿真里被淘汰,再上真机微调,能减少无效采集和真机试错。图像、本体感知与动作同源于一条仿真轨迹,训练数据不需另外做时序对齐。
动作侧并未另起炉灶:训练标签就是闭环的全身动作 token 加手部关节指令,也就是在仿真里真正移动了物体、同时保持平衡的动作序列;推理端沿用既有链路,GR00T N1.7(3B)输出 78 维动作块,由冻结的 SONIC 解码器在 G1 上执行,本体控制栈需要改的只是数据来源。
现实约束也摆在眼前:数据可用性取决于物体好不好抓,薄壁帽子的录像在进入仿真前就被大量丢弃(154 段只剩 59 段);真机上抬瓶成功率 45%、戴帽 25%,失败同样集中在抓取阶段。
本次可用证据只有作者论文本身,以及作者自己用基线公开代码跑出的对比(EgoHumanoid、EgoHumanoid-V2;完整版 EgoHumanoid-V2 只在其完成的 8 段留出录像中的 6 段上评估),没有第三方独立复现的实验报告;真机每个任务只做 20 次试验,抬瓶成功率 45%、戴帽 25%,失败集中在抓取阶段;仿真里的质量、惯量、表面摩擦由编码智能体按先验从视频估计,重物和质量分布不均的物体仍有仿真到现实差距;渲染视图与真实相机在色调平衡以及眼镜从未观测到的区域仍有差异;物体只能建成刚体、参数化形状或铰接连杆,叠衣、切面包这类高度柔性或拓扑变化任务不适用。
版本与核查范围
版本 2611.19196v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p4.1;#S1.p5.1;#bib.bib33;#S3.SS5.p1.1;#S4.SS0.SSS0.Px1.p1.1;#S4.SS0.SSS0.Px2.p1.1;#S4.SS0.SSS0.Px3.p1.1;#S4.SS0.SSS0.Px3.p2.1;#S4.SS0.SSS0.Px4.p1.1;#S4.T2.2;#S4.SS0.SSS0.Px5.p1.1
