世界模型学习环境状态怎样随时间、动作和条件变化,可在状态、潜变量、视频或三维空间中实现。有些同时生成动作,但不都具备可校验的动作后果预测。
| 用途 | 能提供什么 | 关键验证 |
|---|---|---|
| 数据增强 | 视觉、场景或轨迹变化 | 标签/动作一致性及真实任务增益 |
| 状态预测 | 未来物体、接触或潜状态 | 时域、误差、分布外稳定性 |
| 离线策略评估 | 候选动作后果或回归环境 | 与真机排序/失败的相关性 |
| 在线规划与控制 | 预测与搜索、联合动作生成 | 动作可控性、时延、闭环收益 |
当前判断 · 2026-10-10 核查
WALL-WM v2(09-06 修订)给出事件级视频/动作建模和真机操作证据,但真机主指标是 Task Progress;新增 RoboTwin 仿真二值成功率 15.2%(76/500)。两者不能合并为通用成功率。依据与边界
Genie 3 的数分钟交互视频是窗口外背景,尚不能替代机器人动力学环境。Cosmos 3 Edge(08-19 发布)的策略后训练与端侧分块执行提供工程样本,22.9% RoboLab 成绩仍属仿真。依据与边界
当前证据支持按用途评估世界先验的价值,尚不支持用视觉真实感推断物理正确或长期任务可靠。10-10 补核的 DreamTrue 提供视频评分一致性与仿真策略结果对照,尚无由此提高真机任务成功的证据,详见 动作条件世界模型。合成样本的真实收益另见 合成数据。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- PILOT:用想象出的子目标与策略先验引导机器操作的长时程世界模型规划
对做机器人本体软件的工程师,可落地的思路是在规划层加两段适配:用视频模型把语言指令变成分阶段视觉子目标,用现成的 VLA 策略给 CEM 热启动,不必人工准备目标图像或中间子目标;策略本身再弱也能当先验用。代价要按部署节奏估:每个回合需要在线生成一次视频子目标,每次规划调用再在线跑一轮 CEM,比直接执行策略多出时延和算力;子目标按固定日程推进,执行落后时不会自动调整时序,失败抓取后的恢复较难。
- 原地卡住:JEPA 规划器的停滞诊断与补救方法
对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。
- 独立研究:Robotic World Model 仿真器与行走策略的机器人层面测试
给做本体软件与仿真评测的工程师:仿真器的预测精度不能直接当作“策略会走”的证据,需要另加策略闭环测试作为另一类证据;同时要分清证据层级——在仿真器里闭环跑一遍策略仍不等于真机验证。本次材料里全部结论都止步于 MuJoCo 仿真内。
- 《Lazy-MOSAIC:用学到的技能效果世界模型加速以技能为中心的操作规划》
对做机器人本体软件的工程师,这套做法是把「便宜模型筛选、物理仿真把关」接到技能库规划器上:便宜模型决定哪些技能值得占用一次仿真调用,仿真器保留最终验证权,因此能压低仿真调用量而不放弃基于物理仿真的安全前提。前提也很明确——工作空间几何和物体类型须预先已知,学习模型针对该半结构化环境离线训练,作者把跨工作空间泛化列为下一步。
- nvidia/Cosmos3-Nano-Policy-DROID:NVIDIA Cosmos 3 面向 DROID 平台的机器人策略检查点
对机器人本体软件开发者,这是一个可直接获取的动作策略权重:接口是 (T, D) 逐帧状态或控制量序列,可用“服务端推流 + 客户端执行”的方式接入仿真或真机,兼容本体与维度有明确白名单。合理用法是把它当工程试点起点——先在 RoboLab 一类的仿真环境里跑通服务端/客户端链路,再评估真机泛化,而不是当成已验证的落地能力。
- SuperMimic:用单个可微世界模型扩展人形机器人全身控制
对做本体控制栈和训练基础设施的工程师,这篇论文变动的是成本结构:策略更新不再吃仿真器吞吐,rollout 在神经动力学里完成,所以「加卡换提升」这条经验不再成立——对照里 PPO-Sim 从四卡到八卡几乎无增益,而 SuperMimic 单卡 1.2 小时就达到目标回报 0.82;作者报告的对照基线 SONIC 需要 128 张 GPU 跑约 168 小时、约 21,000 GPU 小时。训练栈上要接的东西相对明确:从仿真器记录的转移拟合一个共享的可微世界模型,与策略交替更新;仿真器本身不需要可微,现有的刚体仿真器可以原样保留,这一点对已有 MuJoCo 系仿真管线的团队尤其重要,因为接触不光滑的刚体仿真本来就难做梯度。部署侧的证据是作者自己的真机演示(Unitree G1,一个通用跟踪器、不做逐动作调参,覆盖移动、接触丰富动作和杂技动作),属于论文报告的落地结果,不是厂商声明,但目前只到定性演示层面,没有实机的量化指标。另一条对写控制栈的人有用的经验是价值网络(critic,用于估计想象视野之外的回报)的作用:作者报告带 critic 时可以在更短的想象视野下训练,而且仿真推扰下带 critic 的策略能站稳、不带 critic 的会持续踉跄并在更高推扰速度下摔倒——不过这只是仿真证据,作者没有给出实机推扰的量化对比。
- 规划器会利用确定性误差:抖动式低比特世界模型
给做机器人推理部署与本体软件的人一个不改模型、不需训练的低比特世界模型配方:把激活量化从固定就近取整换成"每轮重抽、候选间共享"的抖动,让采样规划器在迭代中追不到系统性误差。在作者实测中(共享抖动对 rollout 的额外延迟最多约 2.3%),Meta-World 上大部分量化掉点被挽回;但这是单篇预印本的作者自测结果,尚未见独立复现。
- ScanDreamer:面向四旋翼导航的地图接地世界模型
对做飞行策略的工程师,实用点是:把机器人本来就有的位姿、历史观测和传感器朝向显式写成一张占据图,让进度奖励和“想象”都挂在地图上,而不是指望网络在隐状态里自己记住;同等交互预算下成功率更高、碰撞更少,训练所需数据量也更低。
展开其余 25 条历史观察
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- Cosmos-H-Dreams:英伟达面向外科机器人的实时动作条件世界模型(模型卡已指向更新版本)
对接机器人本体或策略软件时,接口是明确的:给一帧上下文图像加一条 44 维动作流,服务每 12 个动作步回传 12 帧画面;人可以拿键盘或 Meta Quest 头显手动驱动,也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库,对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述,落地前仍需在自己的场景、动作空间和硬件上实测。
- WorldFailBench:世界模型理解策略失败了吗?
给策略评估与部署工程的用处很直接:想在真机回归测试之前用世界模型筛策略,可以先用这三类任务检查"生成的失败诊断是否可信",把"成功率一致"和"失败诊断一致"分成两件事。论文给出的证据是七个世界模型在失败类型、失败阶段、失败边界三关上都明显落后于参考环境重复跑的水平,所以生成轨迹里的失败分布不能直接当作策略短板的证据;作者也指出,这类预测在用于指导进一步测试前仍需在参考环境中复核。代码与数据集由作者公开(GitHub 仓库与 Hugging Face 数据集),可自行复跑;但本次材料只有该 arXiv v1 预印本本身,结论应视为作者自述结果。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- Thinker-WM:面向具身智能、具有共享多模态表征的统一世界模型
为机器人软件开发提供一种统一预测与动作生成的模型接口设计,并用受控实验检验动作输入和深度交互是否发挥作用。
- GRAIL:从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线;作者将其定位为遥操作和动作捕捉的补充,而非替代。
- ICAT:基于事故案例的具身世界模型物理风险预测自适应测试
对将生成视频接入机器人规划或策略学习的团队,ICAT提供了分开检查“场景是否保留、动作是否完成、危险后果是否出现”的诊断思路,而非只凭视频看起来合理判断可靠性。论文未测量遗漏后果对下游决策的实际影响。
- LoopWAM:利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。
- 用含失败轨迹微调 Boundless 世界模型:RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体:世界模型(world model,即根据动作生成后续画面的模型)产出的视频一旦把失败画成成功,就不能拿来判断这一把有没有抓住;这份检查点显示,把失败轨迹喂回世界模型能明显压低这种「假成功」(留出片段上失败误读率由 0.825 降到 0.263,成功召回 0.964)。权重与基座同结构(同一 DiT 扩散变换器与动作编码器状态字典,仅推理权重),可直接替换 `step-12000.safetensors`,接入已有推理管线改动很小。接入时照卡片的推理契约即可:每窗 61 帧(1 初始帧 + 8 历史帧 + 52 未来帧),`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`,动作取 BWM 的 `eef_abs` 空间;卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用,需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
- PINT:以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师,可直接借鉴的是接口层面的三点:把跨模块共享信息压成一段紧凑的意图表示;只替换视频生成模型的条件入口、保留其预训练生成机制;以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向,使延迟与同规模 Fast-WAM 接近(331 毫秒对 266 毫秒),本体实时性压力可控。
- 像世界模型一样思考,像VLA一样行动:将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。
- 模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持,也表明ModAR在受测任务中可利用无动作人类示范改善表现;不据此推断通用操作能力。
- Long-WAM:扩展世界—动作模型的上下文
作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。
- 世界模型的物理终极考试
将视觉连贯、任务可观测性与可测物理关系分开,为诊断视频模型的物理不一致提供可解释依据,而非通用具身能力认证。
- 多少规划才足够?减少世界模型规划中的搜索与计算
将“结果足够好”的预算校准与单次求解内的计算复用分开,为既有世界模型规划器提供部署侧优化路径,而非改进模型本身。
- 通过基于采样的扰动观测器应对仿真到现实的失配:从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口,针对局部持续、与任务相关的失配进行修正,而非完整辨识仿真到现实差距。
- 重新思考用于组合式与上下文机器人操作的世界—动作模型
作者实验支持将视觉子目标作为任务规划与动作生成之间的显式接口,并用目标图像在推理时引导已学行为的重新组合。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- SteerQuant:在世界—动作模型中通过动作引导缩放调控量化误差
作者结果支持以最终动作影响指导量化误差分配,并用融合内核减少缩放开销,为世界—动作模型的低位宽推理提供一种方法。
- 修订,而非重启:面向闭环世界—动作模型的可修订视觉计划
研究将反馈后的视觉计划修订连接到闭环控制。作者的损失消融提示,视觉预测误差降低不必然带来任务成功率提高。
- 打破视觉—动作捷径:面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。
- CAP:通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径,而非依靠想象轨迹优化策略。
- 更好的想象推演意味着更好的机器人控制吗?反馈条件下世界模型评估的受控研究
为反馈系统中的预测模型评测提供方法学提醒:离线协议应尽量匹配部署时的感知、状态校正与控制更新结构,不能只看无观测推演误差。
- TrAct:以视觉轨迹连接机器人控制与视觉预测
作者实验支持将视觉轨迹作为策略与世界模型的共享接口,为通过未来画面评价候选动作提供了一条技术路径。
- 以潜在动作为意图,使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
关联报告
来源与阅读
- WALL-WM v2 · §7 / §9.5 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- Genie 3 官方说明 · Limitations · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- Cosmos 3 Edge 后训练与部署说明 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
