内容摘要
动作条件世界模型(ACWM:给定初始观测和一段底层机器人动作序列,生成后续画面)的常见问题是"看起来对、结果错"——真机夹爪没抓到水果,模型却画成抓取成功。已有的具身世界模型基准多按文本或任务级指令评操作视频,或在仿真里评数据引擎、策略评估等功能,缺少"同一段动作在真机上到底发生了什么"的成对对照。
WorldOracle 补的正是这一环:给定相同初始观测与底层动作轨迹,判断模型预测的未来是否与真实执行一致。做法是开环回放——把录下的动作序列原样喂给模型生成预测 rollout,再与配对的真实执行在四个维度上比较:物理状态正确性(由 VLM 先生成物理状态判据,再据此判断预测结果是否满足)、交互空间对齐、关键交互区域保真度、多视角动作一致性。物体、机械臂与人手的逐帧掩码由 SAM3 分割模型给出,把评测聚焦到动作相关区域而非背景。任务覆盖摘水果、挂毛巾、倒水、拉抽屉,分别对应刚体、柔性物体、流体和铰接物体;评测集共 335 条,包含人工操作与策略 rollout 两种分布,后者是在 AgiBot G2 上由闭环策略产生的动作,其分布中带有犹豫、抖动和修正。
被测模型的分数随预测变长普遍下滑:在 AgiBot G2 上,GE-Sim 2.0 的单视角总分 WorldOracle-SV 从 73.86 降到 63.33,DreamDojo 从 50.56 降到 27.08,Cosmos 3 从 53.99 降到 26.60。动作对齐好不等于结果对:GE-Sim 2.0 全程交互空间对齐 73.49、多视角动作一致性 96.96,物理状态正确性只有 60.26、关键交互区域保真度 56.24。指标诱导的偏好与人类判断的整体一致率为 88.1%–93.2%。
需要注意的是三种本体的适配条件并不相同——AgiBot G2 用专属训练集、YAM 依赖公开数据因而训练—测试差距更大、人手是零样本评测——论文明确说这些结果不应被当作本体难度的受控对照,比较主要在各设置内部进行。
点评
对做机器人本体软件和模型训练的人,这套基准给出的是一个可直接上手的流程:把真机录下的动作序列开环回放给自己的世界模型,再把预测画面与配对的真实执行逐项对比,从而把"动作跟上了吗""结果对了吗""随时间退化多少"分开看。GE-Sim 2.0 在 AgiBot G2 全程评测中多视角动作一致性 96.96、物理状态正确性只有 60.26,说明只看画面质量或只看轨迹贴合都会漏掉真正的失败。作者声明提供覆盖四项指标的评测工具包与排行榜,这属于作者自建的评测体系与开放产物;本次材料只包含该论文及其排行榜说明,未见独立第三方的复现或交叉验证。
覆盖面仍有限:目前覆盖三种本体、四个操作任务,评测集 335 条。三种本体的适配条件不同(AgiBot 用专属训练集、YAM 依赖公开数据因而训练—测试差距更大、人手零样本),跨本体的分数不能直接比,只能在各设置内部比较。指标实现依赖标注流程:物理状态正确性依据 VLM 生成的物理状态判据判定,其余三项依据逐帧分割掩码(物体、机械臂、人手),因此结果的可复现性也取决于这套标注与判定流程本身。本次材料只有该作者论文及其自建排行榜的说明,属作者自评,未见独立第三方的复现;评测工具包与排行榜的实际可用性本次未能核验。
版本与核查范围
版本 2610.18826v5 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p3.1;#S1.p6.1;#S1.p8.1;#S1.p7.1;figcaption[239];#S1.p5.1;#S4.SS1.SSS0.Px2.p1.1;#S4.SS1.SSS0.Px3.p1.1;#S6.SS1.SSS0.Px1.p1.1;#S4.SS1.p1.1;#S1.I1.i3.p1.1
