内容摘要
这篇 arXiv 预印本评测六个近期开放权重的世界模型(交互式视频世界模型:用起始画面加相机轨迹生成后续画面的生成模型)。起始画面同时锁定相机离地多高——地面机器人约 0.15 米、俯视相机约 2.2 米——忠实的仿真器必须在相机移动中守住这个高度,而这六个模型全都守不住:运动用生成内容替换起始画面后,相机被拉向人眼高度,低机位升高、高机位下沉,作者称之为「相机高度回归」。为此作者提出基准 EyeHeight:用恒定高度、恒定俯仰的轨迹驱动模型(渲染起始 0.15 至 2.2 米,外加标定的多高度真实照片),再用与尺度无关的多视角三维重建从生成帧反推相机高度。在「转身再向前走」的片段上,从 0.15 米起步只有 0–20% 的片段结束时高度落在起始高度的 1.3 倍以内,推断出的视点收敛到 1.1 至 1.5 米的人眼高度带,而同一脚本下的真值渲染只偏几个百分点。作者把这种拉力归到训练视频的人眼高度先验:公开互联网与游戏视频集中在 1.6 米附近,近地视角几乎不存在;在 SANA-WM 上,把高度写进提示词不起作用,微调出的地面视差分支对反事实的高度缩放几乎无响应(斜率仅 0.03,忠实使用应为 1);而更强的无分类器文本引导(CFG)会加深回归,影响主要来自去噪的前半段。缓解只在 SANA-WM 上评估:无引导采样加高度平衡微调能恢复更多高度保持,但 MUSIQ(感知质量评分)要掉 5 分,损失恰好发生在同样决定相机高度的早期去噪步。
点评
对写机器人本体软件的人,最直接的影响是:世界模型生成的第一人称画面,未必是这台机器人的视角。起点画面锁的是相机自己的离地高度,一旦转身去补画背后的房间,相机高度就被拉向人眼高度带;把这些画面当作导航策略的评估输入时,策略看到的其实是一个并不属于自己的视点。这不只是观感问题:仅姿态漂移本身,就把视觉导航策略预测的路径终点推移了 0.12 至 1.18 米。可直接做的两件事:一是评测时把相机高度保持性与轨迹一致性一起报告(作者也这样建议),「画面看着对」不等于「视点对」;二是检查采样配置,去噪早期开着文本引导时可考虑先关掉一段引导,并用高度平衡的微调补上缺失的低视角画面。另一个容易被忽略的细节是:Matrix-Game 生成的片段在几何上自相矛盾,地面纹理以恒定仰角旋转,新补画的墙面和家具却暗示更高的相机。需要注意,全部干预实验只在 SANA-WM 上做,论文没有验证这些做法在其他世界模型上是否同样有效。
全部结论来自作者自己的一篇 arXiv 预印本:本次材料只有其 v1 全文页面,没有更新版本,也没有第三方复现;六个模型的评测、指标与缓解实验都由作者完成。生成视频没有真值三维几何,主指标依赖多视角地面重建并要求画面中出现可见地面,作者用 VGGT、单目度量深度和无学习的地板单应做了交叉验证。导航影响只在开环下衡量预测路径偏移,闭环后果尚未测试。训练与引导干预只覆盖 SANA-WM,对流式因果模型的补救留待后续工作;作者也指出,把微调与无引导采样组合时,质量损失出现在同样决定相机高度的早期去噪步,属于用一项换另一项,并建议世界模型评测同时报告相机高度保持性与轨迹一致性。
版本与核查范围
版本 2611.21782v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p2.1;#S1.p3.1;#abstract1.1;#S1.p4.1;#S1.p4.1;#S1.p4.1;#abstract1.1;#S4.SS0.SSS0.Px5.p1.1;#abstract1.1;#S7.SS0.SSS0.Px1.p1.1
