它是什么,解决什么问题
本主题覆盖任务协议、数据泄漏、域差异、样本统计。它属于“评测、可靠性、安全与治理”,用于理解这一组能力、方法或产业对象的边界。
范围与比较维度
- 任务协议
- 数据泄漏
- 域差异
- 样本统计
需要持续回答
- 记录能力主张的测量方法、样本、条件和失败边界,区分安全设计、标准适用与实测证据。
当前知识边界
本页为范围入口,代表路线与证据尚待补充。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 原地卡住:JEPA 规划器的停滞诊断与补救方法
对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。
- 老式规则规划器有时比学习到的规划器开得好:在 UniAD 感知上替换规划器的对照实验(作者论文)
把它当接口设计的样例来读。 一、替换成本低。规划器每周期只读 UniAD 的跟踪目标(含 6 秒运动预测)、车辆占用预测、可行驶区域的鸟瞰掩码、自车速度/加速度/横摆角速度和导航指令,输出 0.5 秒间隔的六个路点,正是 UniAD 自己的输出格式,换实现不用改控制器。 二、两个规划器读同一份感知,差异就落到规划层。UniAD 规划器在 HUGSIM 上有 182 次运行撞上车辆,其中 31 次换成教科书规划器后在同样感知下能跑完路线,说明这批碰撞出在规划而非感知;另 131 次两者都撞,作者明说无法分摊。 三、增益有明确边界。静止车(+18.8 ± 4.2)与对向车(+17.8 ± 4.1)最明显,分别对应路径搜索绕开静态障碍、轨迹方法对照运动预测;面对主动朝本车转向的车辆没有增益(13.9 对 12.9,增益 −1.0 ± 2.8),因为依赖的预测没料到这种行为。 可迁移做法:把端到端模型当“感知+预测”的提供者,其后接一个可解释、可单独替换与评测的规则规划器,并让两者共享同一输入,才能定位问题出在感知还是规划。
- 让心构想,让手实现:面向长程操作的接地动作与进度评估耦合
对做本体软件和集成层的工程师,这套思路的价值在于:保留预训练 VLA 当动作策略,在外部加一层负责拆解指令、重新定位物体、判断"这步做完没有"的编排层,子任务边界重置视觉历史并重新接地,完成记录按 episode 保留。作者的消融提示,编排与空间接地各贡献一部分增益,而"何时切换"即使换成仿真真值也几乎不改变序列长度——瓶颈仍在动作执行本身。
- WorldOracle:对照真实执行评测动作条件世界模型
对做机器人本体软件和模型训练的人,这套基准给出的是一个可直接上手的流程:把真机录下的动作序列开环回放给自己的世界模型,再把预测画面与配对的真实执行逐项对比,从而把"动作跟上了吗""结果对了吗""随时间退化多少"分开看。GE-Sim 2.0 在 AgiBot G2 全程评测中多视角动作一致性 96.96、物理状态正确性只有 60.26,说明只看画面质量或只看轨迹贴合都会漏掉真正的失败。作者声明提供覆盖四项指标的评测工具包与排行榜,这属于作者自建的评测体系与开放产物;本次材料只包含该论文及其排行榜说明,未见独立第三方的复现或交叉验证。
- LoongForge/LoongForge-LingBot-VA-RoboTwin:LingBot-VA 在 RoboTwin 2.0(50 任务)上的监督微调检查点
在相同数据与训练计划下,LoongForge 训练出的检查点与厂商自己用官方 lingbot-va 代码重训的对照模型数值接近(清洁 87.6% 对 86.1%,随机化 85.7% 对 85.1%),说明换用 LoongForge 框架未见明显能力损失;同时仓库直接给出可加载的权重目录与 RoboTwin 2.0 评测入口,对做操作策略微调和评测集成的工程师有直接可用性。但这是厂商在自家模型卡上自述的单一基准结果,对照行也是同一方自训的模型,不构成第三方独立复现。
- HARP-Bench:在活动的人类周围评测机器人操作
对机器人本体与策略开发者,HARP-Bench 把「旁边有活人」从不可控干扰变成可复现、可造数据的评测维度,并给出一套安全指标;它同时说明,只看任务成功率不足以判断机器人在人身边的行为,需要另看碰撞与间距。
- Spotter:让具身模型主导执行,让视觉语言模型为它复盘纠错
对机器人本体软件工程师,最有用的是把"发现错误"和"修好错误"分开评估:即使预言机已定位失败点,策略三次重试仍有九成修不好,失败后打分器也挑不出正确候选,所以只在策略内部加重试或采样打分指望不上,单纯把步数预算放大到 1.8 倍也只带来 1.2 和 1.8 个点。纠错逻辑可以整体放在策略之外:本地轻量筛查器负责召回,通用模型只裁决可疑片段、用可枚举的运动基元修复,再用一个"预期校验"窗口确认是否真修好;延迟代价也小——成功的 Qwen 回合只比裸策略多 13–16 秒。
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
展开其余 4 条历史观察
- 探测视觉语言模型的"碰撞接地"能力:TouchSafeBench 基准显示机器人撞场景比撞人更难被识别
对做机器人本体软件与部署的人,最可用的结论有三条。其一,VLM 的短板不在"看不清"而在"绑不准",输入侧需要补上以机器人本体为中心的几何线索,例如本体坐标系标记、标定的相机到本体变换、机器人足迹叠加。其二,"识别当前是否接触"与"预警即将接触"要用不同的输入组合:俯视轨迹图压误报但会让当前接触识别变差,最好的预警分又来自彩色化深度的单视角输入,因此评测与调参必须按任务分开做。其三,误报与漏报要分开看,一个"从不报警"的监控器在这个基准上并不更安全——带机器人预训练的模型误报更低,却并没有更高的综合 F1。以上均为作者论文的评测结论与设计建议,材料中未见第三方独立复现,也不代表真实产品中的部署效果。
- Fast-VLA:机器人操作只需思考一次
论文提供了一种推理优化路径:固定任务上下文不等于开环执行,在线执行器仍利用实时视觉与本体感觉反馈更新动作。
- ProTracer:本体感觉引导的机器人操作失败诊断
将本体感觉作为时间线索、视觉作为语义证据,为失败轨迹的事后分析提供方法;作者指出,起点定位可支持更精细的时间归因与成功轨迹前缀回收。
- RoboChrono:面向流式任务理解的真实机器人基准
该基准的诊断价值在于分开考察视觉识别与时间进度理解,避免仅用汇总分数掩盖能力差异。
