分层把任务意图、动作生成与物理执行分开组织。比较输入输出和训练信号,比比较 System 1/2/0 名字更有用;端到端训练也不取消底层控制器。
| 组合方式 | 接口与信号 | 证据边界 |
|---|---|---|
| ER/规划器 → VLA | 子目标、进展反馈;动作策略另行学习 | 上层计划正确不保证接触动作成功 |
| 统一推理—动作流 | 文本和动作 token 共用 next-token 训练 | 自回归统一不等于免任务提示或免后训练 |
| VLA → 全身控制 | 运动 token/姿态参考 → 关节目标与 PD | 必须固定控制器、观测定义与本体 |
当前判断 · 2026-10-10 核查
Gemini Robotics 2 的官方说明区分 ER、VLA 与 On-Device;后两者为合作伙伴 early access,不能从 ER 服务可访问推断 VLA 权重开放。G0.5 则提供统一动作流对照,但分阶段 CoT 实验并非无子目标辅助的完整任务规划。依据与边界
SONIC v4 的全身任务接口为 64 维运动 token 加 14 维手关节,GR00T N1.5 用任务示范微调,底层跟踪器用 PPO/运动参考训练。论文中的配套与当前发布的控制器变体须分别核对。依据与边界
分层收益应由完整任务、延迟、恢复和集成成本验证,不能由层数或模型名称推断;S0 也不自动等于独立安全控制器。部署约束见 模型接入。
证据补充 · 2026-10-10
VioLA v1 用统一运动编码器连接人类与机器人动作,再交由预训练身体和手部控制器执行。它补充了“共享潜在运动接口”这一组合方式;共享表示不等于直接共享关节命令,控制器适配与全身任务评测仍是前提。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 让心构想,让手实现:面向长程操作的接地动作与进度评估耦合
对做本体软件和集成层的工程师,这套思路的价值在于:保留预训练 VLA 当动作策略,在外部加一层负责拆解指令、重新定位物体、判断"这步做完没有"的编排层,子任务边界重置视觉历史并重新接地,完成记录按 episode 保留。作者的消融提示,编排与空间接地各贡献一部分增益,而"何时切换"即使换成仿真真值也几乎不改变序列长度——瓶颈仍在动作执行本身。
- PingpongDuo:带安全团队协作的敏捷人形乒乓球双打
对做机器人本体控制和策略上线的工程师,这套做法把“多台机器人共享狭窄空间”的协调问题拆成了可分层实现的结构:上层用带风险检查的联合站位选择加按角色加权的回退来管互撞;下层把移动与击球分开训练,并显式用彼此产生的身体状态做初始化,以支持技能之间的连续交接;手臂残差那条路还给出一个具体提醒——球拍跟踪误差更小未必回球更好,需要按实际回球结果来修正击球动作。
- 我看到你想要什么:从视觉遥操作历史中解码分层操作者意图
对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。
- GenieSim 3.0 数据集:开放超 10,000 小时仿真操作数据,零样本真机迁移仍为发布方自述
这份材料改变的是"仿真数据只是预热素材"这一默认做法:发布方把仿真轨迹本身当作可直接训练的数据源交付,并用遵循 LeRobot 规范的目录与文件布局降低了接入改造。对机器人本体软件与训练流水线工程师来说,近期可用的部分是数据格式、传感流构成、任务目录组织与随仓库给出的检查点,不必从零搭采集流程。但"合成数据训练的任务成功率优于真实数据训练"目前只有发布方自述支撑,页面未给出数值、任务清单和对照条件,不能当作已验证的落地效果,更不能外推到通用操作能力。
- ReSkill:面向机器人操作的选择性自我改进
对机器人本体软件开发者,这套流程的价值在于把"改进"变成可审计的代码改动:失败被定位到具体节点和原因,候选改动经完整任务评估与配对比较后才被冻结,运行期零外部模型调用;验证过的技能和任务图留在库里供下一个任务复用——后加入任务中 39% 的任务专属函数直接沿用已有实现。
- HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人
给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。
- DexHOT:把灵巧操作的目标从物体位姿换成手-物构型迁移
对做灵巧手控制与本体软件的工程师,最值得借鉴的是目标接口:把"目标"从物体位姿扩展为手-物关系(论文用一个杯子的例子说明只指定物体状态是不够的)。实现上,上层由贪心规划或一次人类演示给出构型子目标,子目标以 1 Hz 更新;下层一个冻结策略在 30 Hz 上闭环跟踪,负责中间手部动作、手指步态和换握,物体运动与最终手部摆放都能被显式指定。上游来源(规划或演示)与底层控制实现分开,换上游来源时不必重写底层控制。文中所有成功率均为作者在自建基准与自测协议下的自评,尚未见独立复现。
- HeLM:面向非马尔可夫操作的分层显式语言记忆
对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。
展开其余 18 条历史观察
- 基于能量的策略编排(Energy-Based Policy Orchestration)
对机器人本体软件工程师,EPO 可作为高层规划与已有低层控制器之间的一层运行时适配:不改低层策略,只在运行时按状态挑策略并微调下发的低层目标;新增技能时只需为该策略补一个能量模型(约 30 GPU 分钟),而不是重训策略或维护一个需要随策略库变更重训的集中式调度器。它更适合已经训出多个互补控制器(精度型、鲁棒型、站立型)、但缺少统一取舍机制的团队。
- Spotter:让具身模型主导执行,让视觉语言模型为它复盘纠错
对机器人本体软件工程师,最有用的是把"发现错误"和"修好错误"分开评估:即使预言机已定位失败点,策略三次重试仍有九成修不好,失败后打分器也挑不出正确候选,所以只在策略内部加重试或采样打分指望不上,单纯把步数预算放大到 1.8 倍也只带来 1.2 和 1.8 个点。纠错逻辑可以整体放在策略之外:本地轻量筛查器负责召回,通用模型只裁决可疑片段、用可枚举的运动基元修复,再用一个"预期校验"窗口确认是否真修好;延迟代价也小——成功的 Qwen 回合只比裸策略多 13–16 秒。
- RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- RMBench:依赖记忆的机器人操作基准及其对策略设计的启示
这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。
- FineART:双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐,为子任务预测与低层动作执行相结合的训练提供数据基础;这是发布方描述的训练用途,不等于已经证明通用能力提升。
- TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取
该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。
- PILOT:利用视觉子目标与策略先验引导机器人操作的长时程世界模型规划
作者实验支持将任务阶段引导与局部动作搜索分工:视觉子目标帮助短预测时域规划推进任务,策略先验进一步改善搜索效率。
- Reflex:视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径,价值在于解耦视觉学习与全身控制,而非证明通用人形技能。
- 长时程技能衔接处观测空间偏移的诊断与恢复
该研究支持在特定技能衔接故障中,先恢复阻塞场景、再继续执行,而非仅增加重试;证据用于支持故障诊断,不代表通用恢复能力。
- H-JEPA:面向视觉规划的分层世界模型端到端学习
这项作者研究提示,层级结构可能通过时间分解及高层目标距离表征两条途径帮助规划;不能将收益仅归于其中一种机制。
- 重新思考用于组合式与上下文机器人操作的世界—动作模型
作者实验支持将视觉子目标作为任务规划与动作生成之间的显式接口,并用目标图像在推理时引导已学行为的重新组合。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
- SAKI:面向长时程移动操作的人类视频技能组装与运动学模仿
作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。
- STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范
该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。
- 生成、跟踪、改进:利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明,生成器微调可调整技能选择与地形一致性,是跟踪器微调之外的补充改进环节;不据此推断通用运动能力。
- TrAct:以视觉轨迹连接机器人控制与视觉预测
作者实验支持将视觉轨迹作为策略与世界模型的共享接口,为通过未来画面评价候选动作提供了一条技术路径。
关联报告
来源与阅读
- Gemini Robotics 2 官方说明 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- G0.5 v1 · §3 / §5 / §6 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- SONIC v4 · §2 / §3 / 补充材料 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- VioLA:预测人体与手部潜变量,连接人类数据 · 2610.12435v1 · 2026-10-10 报告扩编定向核查;§3、§4.1、§5;作者证据,未独立复现。
