能力评测回答在什么任务、条件与人工预算下,机器人完成了什么。先固定模型/本体、训练测试划分、尝试次数、时限、重置和接管,再讨论泛化或排名。
| 指标 | 说明什么 | 不能换算成什么 |
|---|---|---|
| 二值任务成功 | 全部必要目标是否完成 | 连续运行可靠性 |
| Task Progress / 目标谓词得分 | 已完成步骤或部分目标 | 完整任务成功率 |
| 跟踪误差与存活率 | 参考动作跟踪或未失稳 | 自主导航/操作成功 |
| 成功任务/小时 | 速度与成功的综合产出 | 训练吞吐或免人工成本 |
当前判断 · 2026-10-10 核查
WALL-WM v2 的真机进展分和 RoboTwin 76/500 二值成功是两种任务/指标。RLinf-VLA 真机关抽屉两组均 8/10,不能把训练效率提升写成成功率增长。依据与边界 · 依据与边界
SONIC 分别报告参考动作与自主任务;Table 1 的五任务均值先合并两个 pickup 变体,不是六行直接平均。依据与边界
RoboChallenge 提供外部真机协议,但进展分还含重试扣分,且用户端模型身份难以核验;服务商评测不是无条件中立认证。依据与边界
跨论文协议不同就不排名。成功率从 9% 到 42% 是 +33 个百分点,相对增益应另算;小样本结果保留计数,不由单次演示推断稳定性。运行边界见 系统评测。
证据补充 · 2026-10-10
Behavior-Skill v1 与 REBOOT v1 将可恢复中间状态、阶段和失败恢复纳入技能评测;局部技能分数仍须回到完整任务验收。SoftVTBench v1 的 DSR 同时要求任务成功与形变不超标,物理真值来自仿真 FEM,不是真机测量。
基准缺陷审计 v1 在七个基准定位 22 个实现问题和 4 类设计限制,部分修复改变排名。比较必须保留成功检查器、初始化、随机性和附录列明的实现版本;不能把该审计外推为所有基准均失效。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 老式规则规划器有时比学习到的规划器开得好:在 UniAD 感知上替换规划器的对照实验(作者论文)
把它当接口设计的样例来读。 一、替换成本低。规划器每周期只读 UniAD 的跟踪目标(含 6 秒运动预测)、车辆占用预测、可行驶区域的鸟瞰掩码、自车速度/加速度/横摆角速度和导航指令,输出 0.5 秒间隔的六个路点,正是 UniAD 自己的输出格式,换实现不用改控制器。 二、两个规划器读同一份感知,差异就落到规划层。UniAD 规划器在 HUGSIM 上有 182 次运行撞上车辆,其中 31 次换成教科书规划器后在同样感知下能跑完路线,说明这批碰撞出在规划而非感知;另 131 次两者都撞,作者明说无法分摊。 三、增益有明确边界。静止车(+18.8 ± 4.2)与对向车(+17.8 ± 4.1)最明显,分别对应路径搜索绕开静态障碍、轨迹方法对照运动预测;面对主动朝本车转向的车辆没有增益(13.9 对 12.9,增益 −1.0 ± 2.8),因为依赖的预测没料到这种行为。 可迁移做法:把端到端模型当“感知+预测”的提供者,其后接一个可解释、可单独替换与评测的规则规划器,并让两者共享同一输入,才能定位问题出在感知还是规划。
- 每台相机都在「长大」:交互式视频世界模型中的相机高度回归
对写机器人本体软件的人,最直接的影响是:世界模型生成的第一人称画面,未必是这台机器人的视角。起点画面锁的是相机自己的离地高度,一旦转身去补画背后的房间,相机高度就被拉向人眼高度带;把这些画面当作导航策略的评估输入时,策略看到的其实是一个并不属于自己的视点。这不只是观感问题:仅姿态漂移本身,就把视觉导航策略预测的路径终点推移了 0.12 至 1.18 米。可直接做的两件事:一是评测时把相机高度保持性与轨迹一致性一起报告(作者也这样建议),「画面看着对」不等于「视点对」;二是检查采样配置,去噪早期开着文本引导时可考虑先关掉一段引导,并用高度平衡的微调补上缺失的低视角画面。另一个容易被忽略的细节是:Matrix-Game 生成的片段在几何上自相矛盾,地面纹理以恒定仰角旋转,新补画的墙面和家具却暗示更高的相机。需要注意,全部干预实验只在 SANA-WM 上做,论文没有验证这些做法在其他世界模型上是否同样有效。
- LLM 能靠直接改权重来调试机器人吗?(只改 65 行 token 嵌入的仿真结果)
对做机器人本体软件和策略调试的工程师,最直接的用处是换了一条排查路线:遇到“策略听懂了词却做错任务”这类故障,可以先查是不是词的问题,再考虑重采数据或重训——论文的做法是不做梯度更新、不新增演示数据,只改 token 嵌入里的 65 行。但它不等于通用调试能力:只在仿真里成立、只对改写指令有效;而且对照实验显示,整行替换这种更简单的做法已经能解释大部分增益。对做指令改写和评测的团队,另一个提醒是“指令字符串格式本身就能大幅改变分数”:同一条任务描述附不附场景元数据,可能让 FastWAM 的成功率从 70.0% 掉到 48.6%,所以评测时应写清指令是怎么拼出来的,而不要把它当作无关紧要的字符串。以上均为作者论文自报结果,本次材料中未见独立第三方复现。
- 用规划器验证的反事实测试审计抓取可行性预测器
这套协议补上了抓取可行性筛选环节一项常规基准给不了的检查:同一个抓取姿态,加入障碍物后被规划器判为不可行,模型分数却不动,而自然基准对此完全无感。作者把反事实标签与指标做成可离线复用的资源,第三方可对自己实现的筛选器打分,不必每次付出一次规划器调用的开销。对开发者的直接提示是:瓶颈可能在输入表示——走廊间隙有没有被编码进特征——而不只是模型规模或数据量;论文给出的间隙感知读法(CF-pair 0.983)是这条路线的一个具体起点。
- 视语言动作模型配对评测中的测试状态同一性验证
给做仿真评测的机器人工程师一条前置动作:日志里记录解析出的初始状态身份(可加场景指纹),先跑一遍完整性检查再计算配对统计,否则回合编号相同也可能不是同一个场景。这是对评测环节的排查建议,不是对任何已发表结果或榜单的否定。
- Spotter:让具身模型主导执行,让视觉语言模型为它复盘纠错
对机器人本体软件工程师,最有用的是把"发现错误"和"修好错误"分开评估:即使预言机已定位失败点,策略三次重试仍有九成修不好,失败后打分器也挑不出正确候选,所以只在策略内部加重试或采样打分指望不上,单纯把步数预算放大到 1.8 倍也只带来 1.2 和 1.8 个点。纠错逻辑可以整体放在策略之外:本地轻量筛查器负责召回,通用模型只裁决可疑片段、用可枚举的运动基元修复,再用一个"预期校验"窗口确认是否真修好;延迟代价也小——成功的 Qwen 回合只比裸策略多 13–16 秒。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- H2RBench:评估人类到机器人迁移的实到仿真基准
对机器人本体软件开发者,这是一套把“哪种人机迁移方法、人类视频给多少”放进同一套可重复仿真实验的协议,也提示了一份“哪些行为能迁移、哪些不能”的清单——人类视频主要改善高层空间意图类行为,接触密集的插入等任务甚至会变差;不同方法随人类数据量变化的曲线差异又说明,加数据的收益强烈依赖任务结构和该方法跨越形态差异的策略。
展开其余 21 条历史观察
- WorldFailBench:世界模型理解策略失败了吗?
给策略评估与部署工程的用处很直接:想在真机回归测试之前用世界模型筛策略,可以先用这三类任务检查"生成的失败诊断是否可信",把"成功率一致"和"失败诊断一致"分成两件事。论文给出的证据是七个世界模型在失败类型、失败阶段、失败边界三关上都明显落后于参考环境重复跑的水平,所以生成轨迹里的失败分布不能直接当作策略短板的证据;作者也指出,这类预测在用于指导进一步测试前仍需在参考环境中复核。代码与数据集由作者公开(GitHub 仓库与 Hugging Face 数据集),可自行复跑;但本次材料只有该 arXiv v1 预印本本身,结论应视为作者自述结果。
- 探测视觉语言模型的"碰撞接地"能力:TouchSafeBench 基准显示机器人撞场景比撞人更难被识别
对做机器人本体软件与部署的人,最可用的结论有三条。其一,VLM 的短板不在"看不清"而在"绑不准",输入侧需要补上以机器人本体为中心的几何线索,例如本体坐标系标记、标定的相机到本体变换、机器人足迹叠加。其二,"识别当前是否接触"与"预警即将接触"要用不同的输入组合:俯视轨迹图压误报但会让当前接触识别变差,最好的预警分又来自彩色化深度的单视角输入,因此评测与调参必须按任务分开做。其三,误报与漏报要分开看,一个"从不报警"的监控器在这个基准上并不更安全——带机器人预训练的模型误报更低,却并没有更高的综合 F1。以上均为作者论文的评测结论与设计建议,材料中未见第三方独立复现,也不代表真实产品中的部署效果。
- ArtifactArena:用模型在物理世界里造出来的东西来评价模型
对做机器人本体软件的人,这是一条"模型造机器人 → 仿真对战 → 排名"的完整回路:模型交出的不是一段说明,而是一份能编译的 MJCF 结构和一段能运行的 Python 控制器,胜负由两台机器人的物理接触算出来,所以改外形、配重或策略会直接改写战绩,这与本体软件里做形态—控制取舍时的反馈回路是对应的,只不过这里的裁判是仿真物理。DLH 那种把模拟器源码、校验器和 shell 一起丢进沙箱让模型自己跑的做法,也对应大家熟悉的"跑仿真回归、让代理改控制器"的用法。评测与选型的人则可以把它当成问答榜单之外的一类观察点,但要注意分数只在 MuJoCo 这一套规则和对手集合里成立。产物与成绩全部出自论文作者自建的仿真竞技场,本文材料中没有第三方复现,应先按作者自报结果看待。
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- 弗雷歇强制:用短片段训练长时域流式世界模型
对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。
- ICAT:基于事故案例的具身世界模型物理风险预测自适应测试
对将生成视频接入机器人规划或策略学习的团队,ICAT提供了分开检查“场景是否保留、动作是否完成、危险后果是否出现”的诊断思路,而非只凭视频看起来合理判断可靠性。论文未测量遗漏后果对下游决策的实际影响。
- SocialCoAct:为基于视觉语言模型的人形机器人提供并评测第一视角社交协同行为
对机器人本体软件开发者而言,这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上:模型只负责挑动作并指明它对应哪句话,关节轨迹由白名单映射生成,下半身固定在站立姿态,因此手势可以作为中间层接口来调试、替换和审计,而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策:扩展推理能提分但吞吐下降数十倍,加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
- LIBERO-PeRM:个性化机器人操作基准评测
该基准为区分“做成任务”与“按偏好执行”提供受控评测条件,有助于定位个性化操作的失败模式,而非仅依据任务成功率判断能力。
- RMBench:依赖记忆的机器人操作基准及其对策略设计的启示
这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。
- 超越单轴测试:视觉—语言—动作策略复合鲁棒性的配对评估
为鲁棒性评测提供更细的诊断方式:在已有配对单轴测试上增加一个匹配的同时扰动条件,揭示总体成功率可能掩盖的双向结果变化。
- VLA 真的遵循指令吗?诊断视觉—语言—动作模型对“如何执行”指令的遵循能力
研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。
- ProTracer:本体感觉引导的机器人操作失败诊断
将本体感觉作为时间线索、视觉作为语义证据,为失败轨迹的事后分析提供方法;作者指出,起点定位可支持更精细的时间归因与成功轨迹前缀回收。
- 多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
- TartanMatch:迈向跨模态通用稠密对应
该工作为多传感器稠密对应提供共享模型路线,并在指定实验中显示跨模态联合训练的正迁移。
- 世界模型的物理终极考试
将视觉连贯、任务可观测性与可测物理关系分开,为诊断视频模型的物理不一致提供可解释依据,而非通用具身能力认证。
- ExoBridge:通过人体肢体耦合学习从裸手到手戴式外骨骼的映射
将外骨骼测量用作另一只裸手视频的监督信号,提供了连接视觉示范与机器人相关状态空间的路径;运动输出通过既有标定关联机器人手。
- EgoFound3R:具有逐点交互属性的世界空间端到端第一视角手部重建
把几何与交互属性解码合并,并减少重复场景聚合,为第一视角视频的大规模手部标注提供一条统一处理路线。
- 超越排行榜分数:面向行人中心环境的部署导向可解释跟踪评测协议
将相近汇总分数背后的初始化、续跟、身份恢复和算力权衡拆开,有助于按部署条件选择跟踪器,而非只看榜单。
- RoboChrono:面向流式任务理解的真实机器人基准
该基准的诊断价值在于分开考察视觉识别与时间进度理解,避免仅用汇总分数掩盖能力差异。
- 修订,而非重启:面向闭环世界—动作模型的可修订视觉计划
研究将反馈后的视觉计划修订连接到闭环控制。作者的损失消融提示,视觉预测误差降低不必然带来任务成功率提高。
- 自然状态预测的准确性可能掩盖VLA读出器在受控条件下的响应不足
研究支持联合评估自然准确性、受控响应和情境稳定性,而不把状态可解码直接等同于忠实响应或任务成功。
关联报告
来源与阅读
- WALL-WM v2 · §7 / §9.5 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RLinf-VLA v3 · §V · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- SONIC v4 · §2 / §3 / 补充材料 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RoboChallenge v1 · §2.3/2.4 / §3.2 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- REBOOT:把失败与恢复纳入精密装配数据 · 2609.22591v1 · 2026-10-10 报告扩编定向核查;§3、§4、§5;作者证据,未独立复现。
- Behavior-Skill:把长任务拆成可复位技能评测 · 2608.30536v1 · 2026-10-10 报告扩编定向核查;§III、§IV、Tables II–III;作者证据,未独立复现。
- SoftVTBench:完成任务也可能损伤软物体 · 2608.18701v1 · 2026-10-10 报告扩编定向核查;§3–5、Tables 3/5/6;作者证据,未独立复现。
- 加速评测审计:修复基准后排名可能反转 · 2609.37771v1 · 2026-10-10 报告扩编定向核查;§3–7、Tables 2–4、附录 A;作者证据,未独立复现。
