核心跟进 · 怎样从已有模型与经验得到可运行、可改进的机器人策略?
主要路线与入口
| 方向 | 关注什么 |
|---|---|
| 学习与后训练 | 训练方法、强化学习:监督、模仿、奖励与交互经验的组合 |
| 适配与资源 | 适配方法、算力基础设施:数据、本体和训练预算的约束 |
| 部署与优化 | 推理优化、部署分工、模型运维:闭环延迟、功耗与能力保持 |
进展与证据边界
公开样本核查:2026-10-10。USER v4 的 VLA 改进来自 HG-DAgger 人工纠正,CNN/flow 的 RL 实验另计;RECAP 是窗口外的批次经验学习依据,仍需人工标签、介入和重置。不能把所有后训练称作无人工 RL。
部署比较须区分模型计算、动作分块与反馈时限。见 强化学习、推理优化 及 技术基线。
与相邻领域的关系
RL 属于学习方法;locomotion 属于 K04 的能力;仿真属于 K02 的训练环境。三者通过关系连接。
模型与技术路线 · 数据、仿真与数据飞轮 · 本体、感知与执行能力 · 软件架构与工程系统。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 论智能体式操作策略(On Agentic Manipulation Policies)
给机器人本体软件工程师,有三件事可以直接用。 第一,动作原语可以不给。AMP1 的外壳只提供感知与运动接口以及错误恢复,抓取、推送、放置由模型在每个回合现场写成代码;同一套外壳因此能覆盖单臂、双臂和移动操作,也不需要示教数据或任务特定训练。这把“能力不够就往技能库里加动作”的思路,换成“外壳保持稳定、强度交给模型”。 第二,外壳接口的容错约定直接计入结果。启用 RfE(错误恢复)时真机是 104/108,去掉该接口后是 94/108;而辅助抓取/放置例程对不同模型的作用方向相反——最强的四个模型加了辅助外壳反而更差(最多掉 7.5 分),最弱的六个模型反而更好(最多涨 17.6 分),中间的模型没有收益。做本体软件的人需要自己划定接口边界、错误恢复与辅助例程的取舍,而不是默认“多给点能力总没错”。 第三,记忆库是低成本的能力增量。模型权重不动、不做梯度更新,只记录观察、策略和代码,RoboDojo 双臂任务上未见布局的成功率就从 26.4% 提到 84.1%,单遍顺序连续学习到 57.6%,并且能迁移到还没尝试过的任务而不抹掉已有收益。 需要保留的判断:这些数字目前只有作者自评的预印本支撑,没有独立复现;对照的 VLA、WAM 成绩取自公开榜单条目,不是作者在同一环境下统一复测,而且当时榜单上最强的条目本身也是智能体(SenseNova-RoboRSI,57.1%),最强学习策略 Lakeside 为 51.0%。另外作者自己指出,LIBERO-Goal 上失败的回合几乎都是智能体自认为已经成功,人工复核认为它对指令的理解与人类一致、却与基准校验器不一致——基准分数与实际可用性之间仍有一段距离。
- Homeward:没有哪个视角比训练时的视角更好
对做机器人本体软件的工程师,这是一条不动模型权重的兜底路径:现场相机被挪动、重装或换镜头后,只要备好机器人运动学模型、一张训练视角参考图和一次性的训练相机标定,就能在不改动冻结策略的前提下把画面拉回策略熟悉的视角,保住闭环成功率。相机参数与场景深度由现成的单目 3D 基础模型在运行时估计,部署相机本身不需要标定,也不需要任何场景微调数据。代价是每次策略查询约 0.21 秒的额外开销(作者说明这是由还原与冻结两种闭环回合的墙钟时间差间接推得,而非直接测量的还原延迟),对 8 步动作块(一次决策输出多步动作)的策略摊到每个控制步约 27 毫秒。系统还有一层兜底:首次查询(t=0)的相机估计若满足旋转小于 0.5°、平移小于场景中位深度的 1%、焦距变化小于 10%,整回合直接透传未经还原的原始帧。
- 原地卡住:JEPA 规划器的停滞诊断与补救方法
对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。
- TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
- 独立研究:Robotic World Model 仿真器与行走策略的机器人层面测试
给做本体软件与仿真评测的工程师:仿真器的预测精度不能直接当作“策略会走”的证据,需要另加策略闭环测试作为另一类证据;同时要分清证据层级——在仿真器里闭环跑一遍策略仍不等于真机验证。本次材料里全部结论都止步于 MuJoCo 仿真内。
- 面向具身操作的零样本组合泛化:用几何监督跨机器人复用演示
对做本体软件和部署的工程师,实用价值是把"关节标签"换成一个可标定、可冻结的中间层:共享动作坐标 + 每台机器人自己的原生解码器。带来的变化是,以前没采过的机器人—技能组合,可以由别的机器人的演示提供监督,而三个策略骨干沿用自己原有的动作模型结构、流目标与观测条件,改动集中在动作接口这一层。 但要说清落地成本:这不等于"策略侧不用动"。策略必须在新的共享动作坐标上重新训练(接口只提供共享动作目标与原生实现,观测相关的技能判断仍由策略主干从图像、指令和本体状态中学习),训练完成后由目标机器人的解码器把预测动作还原成本体的关节指令去执行;若采用 Full 变体,策略阶段还要额外开启几何(FK)损失,这项损失通过冻结但保留梯度的解码器与 FK 更新策略本身,需要单独训练与评估。所以准确的描述是:骨干架构、流目标、观测条件与训练曝光量不变,动作接口与策略训练适配需要做。 接入点也很明确:每台机器人的运动学描述、关节限位、安装变换与工具标定必须已知;接口层训练完即冻结,运行时按机器人身份切换对应的原生解码器与归一化,动作生成路径不变。另外该方法要求每台机器人都有自己的原生演示数据(每台被评测机器人都出现在策略训练中),因此不能直接用于完全没有任何本体数据的机器人。 另外两点有助于判断能否落地:一是跨机器人监督只是位姿级约束,轨迹连续性、避碰和是否真正接触成功仍要在实际执行中检验;二是论文自己分析指出,只做原生重建不足以确定外机解码结果的物理含义,这正是必须显式引入几何对应的原因。
- Body Schema Policy(BSP):把“身体图式”写进视觉—动作接口的小型全身策略
对做本体和控制软件的工程师,这篇论文给出的东西更像一份结构说明加一组部署数字。 第一,策略接口的形态。论文把机器人建模为以根为起点的运动学树:直接控制的关节构成连通子树并带父子关系,底盘速度这类交给底层控制器的命令作为“离树”坐标单独处理;论文也明确说本体和底层控制器决定策略的命令空间。所以迁到新本体时,主要工作量是把关节层级、指令语义与底层控制器接口对齐,而不是去收集大规模预训练数据。另外策略输出的是关节目标,工程上仍然需要一个能稳定跟踪关节目标的全身控制器——真机实验中三个策略都通过关节空间控制策略 HoloMotion v1.4 控制从腿到手指的全部 43 个关节。 第二,延迟与规模的量级。仿真评测里一个动作块(16 步)13.9 ms,真机所用主机上 17.4 ms;服务路径的做法是缓存与观测相关的视觉 key/value、并把每轮去噪作为捕获的 CUDA graph 重放,这套部署侧做法可以直接照抄。它还意味着策略按“执行完整个预测动作块再取下一次观测”的方式工作,接进现有控制回路时需要按这个节奏安排观测频率。 第三,可诊断性。每个部位读画面的区域不同,而且这种分工不是人工标注监督出来的;排查某个关节动作异常时可以直接看该部位的敏感度落在画面哪里,也能理解为什么手部指令需要局部细节、底盘指令需要全局视野。同时要清醒:这套结构不能顶替视觉表征——把 DINOv2 换成从头训练的 ResNet-18 会让总分大约减半,所以换本体或换视角时仍要准备好高质量预训练特征与相应适配工作。
- 从温度受限到电池受限:不测温度的 Unitree Go2 步态策略
对做机器人本体控制与部署的工程师,可借鉴之处很具体:电机热约束可以在训练阶段用奖励解决,不必把温度塞进策略观测,也不必等真机过热再补救——路径是"先为自家机型辨识一个热模型,再把模型预测的稳态温度作为一项奖励加进现有的行走策略训练",策略输入和部署代码不需要大改,评估结果也不受电机起始冷热影响。 落到工程上有几个前提。其一,每款机型都要自己采数据做辨识:本文热模型只用 Go2 一台机器人的两段运行数据辨识,22 个参数在论文中完整列出,可以照着复现;辨识时先用电气量把参数锚定到物理量纲,再拟合温度。其二,要跑通仿真到实机的迁移,并保证步态能力不被牺牲:论文把新奖励加进原有的行走策略训练流程,并在真机上跑通了含楼梯和坡道的工厂环线。其三,奖励权重要在热余量和跟踪精度之间自己权衡:论文部署的权重在楼梯上多出 18–19 % 的速度跟踪误差,权重再往更激进的方向调时楼梯、粗糙地形和下坡的误差继续上升,而热余量只多 2–4 °C。 范围也要说清:验证只在 Go2 这一种四足机型上做,跨机验证仅涉及另一台 Go2,不能直接外推到双足或人形;带载时按实测步态统计预测的最热稳态温度仍比仿真均值高 4.6 °C(空载高 0.8 °C)。
展开其余 122 条历史观察
- SALA:用语言描述对齐人机隐式动作,让通用人类视频成为可扩展的机器人策略监督来源
对做机器人本体软件的工程师,有用处的有两点。一是监督来源可以按小时计量:先用一批带原子动作描述的数据训一个跨本体的隐式动作分词器,之后人和机器人的视频都被映射到同一套语义对齐的动作编码上,策略用同一套编码同时从两类数据里学——预训练阶段可以用通用人类视频补充机器人数据而不必新增遥操作采集,新任务则能在固定遥操作预算之外用便宜的人类演示补强(真机上固定遥操作演示、逐步增加任务相关人类演示,平均成功率 53.75%→72.5%)。二是部署侧不增加负担:教师分词器和未来帧只在训练时使用,部署时策略只看当前观测。代价是流程里多了一个要单独训练和维护的分词器环节,它要求为训练片段准备原子动作描述,而策略本身不吃这些描述、只从视频帧学习。需要提醒的是,本次核查材料中的所有数字都出自作者自测的仿真与单台真机实验,没有独立复现证据。
- ActionUNet:冻结 VLA 主干、只改动作头的多尺度微调模块,提升杂乱场景下的鲁棒性
对机器人本体软件开发者来说,这篇给的是一份“主干不动、只换动作头”的改造点清单: - 插在哪:预训练主干冻结、只训动作专家,沿用基座原有训练目标,回归式与流匹配式策略都能接,感知与语言侧不用动。 - 改哪里:在“时间对齐的动作特征”上做 U-Net 式多尺度融合,而不是在图像或语言语义层做多尺度,因此不必为不同基座重做感知/语言结构。 - 怎么出动作:把动作块当作连续时间上的轨迹建模,条件 SIREN 出局部场、Matérn 核做加权聚合,二阶平滑约束用于压抖动、保时间连续。 - 部署侧的账:策略级单次调用 60.947 ms(±0.251 ms)→ 64.886 ms(±0.376 ms)。这是纯策略计算口径,论文明确提醒不能当作端到端机器人执行延迟——机械运动、低层控制器约束、安全限速、夹爪动作和接触交互都要另算。 - 选型提示:消融显示补上 Matérn 核后四个任务为 easy 77.8%、hard 46.5%,两段结构需配合使用。
- 美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统
对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。
- TEMPO:面向视觉-语言-动作模型的语义-动作解耦强化学习后训练
对做 VLA 在线后训练的工程师,可借鉴的是一种模块级 RL 拆法:把语义接口和动作专家分到各自的 TD3 循环,用更新频率差去对齐两者不同的适应需求(语义侧慢、动作侧快),同时冻结主干以保住预训练的语义知识。落地前提是模型结构里要有一个可冻结的视觉语言主干,以及一个能与动作专家分开优化的条件接口——作者在 FLOWER 之外把同一方法用到了 VLA-Adapter-Pro(用其原生的分层 key/value 投影充当语义投影模块),SR5 从 77.23% 提到 79.17%,平均连续完成长度从 4.437 提到 4.487。工程代价是两条循环各要维护一套回放缓冲区、评论家等组件。频率设置上,5:1、10:1 相对预训练策略分别高 3.9 与 3.4 个点,而等频 1:1 反而略低,说明收益来自两个模块都参与更新、且两者更新频率存在差别。以上均为作者论文自报,未见独立复现材料。
- LoongForge/LoongForge-LingBot-VA-RoboTwin:LingBot-VA 在 RoboTwin 2.0(50 任务)上的监督微调检查点
在相同数据与训练计划下,LoongForge 训练出的检查点与厂商自己用官方 lingbot-va 代码重训的对照模型数值接近(清洁 87.6% 对 86.1%,随机化 85.7% 对 85.1%),说明换用 LoongForge 框架未见明显能力损失;同时仓库直接给出可加载的权重目录与 RoboTwin 2.0 评测入口,对做操作策略微调和评测集成的工程师有直接可用性。但这是厂商在自家模型卡上自述的单一基准结果,对照行也是同一方自训的模型,不构成第三方独立复现。
- WISE:面向视觉-语言-动作模型高效后训练的世界模型引导想象调度
对做机器人本体软件、机器人策略工程的开发者,可参考的是它的工程结构而非结论数字。第一,调度与评估只依赖策略本来就要用的两个相机视角,调度器用机器人执行信号构造弱监督、训练之后只需视觉观测即可判断哪些状态值得想象,因此可以作为旁路模块接进现有策略循环,不必额外做人工任务阶段标注,也不占用真机交互预算。第二,后训练阶段世界模型与 VLA 主干保持冻结、只更新动作头参数,意味着可以在已有 VLA 微调流水线之后追加一段后训练,而不必重训主干。第三,"想象出的画面只用于比较候选动作、被直接监督的只有真实上下文的第一个动作块"这一约束,避免合成画面直接进入策略的训练分布,这正是许多用生成模型辅助策略优化的方法容易踩的坑。算力层面,选中状态少约 80%、GPU 时间少 77% 这组数字对有 GPU 预算约束的团队最有直接参考意义。需要提醒的是:以上效率与成功率结论全部来自作者自己的仿真与真机评测,本次核查未见独立复现,方法在冻结世界模型上的实现细节也依赖作者提供的配置。
- AgenticTactileVLA:无需重训VLA的接触引导执行期监督,实现可泛化的灵巧操作
对做机器人本体软件的工程人员,这条路线的价值在于把「接触到底有没有建立」的判断从视觉挪到执行层的本体信号上:一套固定策略权重可以在新物体上复用,不必为每个物体重训策略,也不必加装触觉传感器;选择性介入还把无谓的接触修正从134次压到46次。改动集中在执行层,不动策略模型本身,是可以分层接入现有VLA栈的做法。
- AnyCamVLA:面向视觉-语言-动作模型的零样本相机适配
对做机器人本体软件和部署的团队,实用点在于把相机适配做成一个可插拔的输入模块:策略权重完全不动,装机时标定一次就能换视角,省掉重新采演示数据、再训练一轮策略的成本,也避免微调带来的遗忘。
- 为冻结的视觉-语言-动作模型学习低延迟动作验证
对做机器人本体与部署的工程师,实用点在于:不必重训策略,也不必准备专家偏好数据——监督可以直接来自策略自己的部署日志(用终止成功/失败打标签),在控制回路里只多出一次轻量打分与选择,论文测得每次策略查询的中位时间只多 5.4%。
- 进度探针 P²:面向视觉-语言-动作模型的轻量级运行时监控
对做机器人本体软件和部署的工程师,这是一个几乎零额外开销的失败检测手段:在现有 VLA 推理链路上挂一个只读内部激活的线性探针,用少量成功演示训练即可判断策略是否跑偏,无需收集失败数据,也无需再部署一个视觉语言模型来打分。
- 一个VLA需要多少条示范?——VLA微调样本效率研究
对做本体软件和适配流程的人,最实用的结论是:选VLA基座时,除了看零样本和"用满数据微调后"的分数,还应问"给我50条示范能到什么水平"。在本文的LIBERO仿真条件下,π0.5在所有套件和所有示范预算下都更省示范、也更省训练步数;GR00T家族里更新迭代的N1.6、N1.7并不比N1.5更好适配,短程套件上用N1.5作为起点更划算(长程Long则相反)。工程上还多一个可调旋钮:如果部署环境只允许更新动作头、必须冻结视觉-语言主干,作者的实验显示GR00T几乎不受影响(最多6点),而π系列会掉23–56个百分点;此时应优先考虑GR00T。这些都是作者在LIBERO仿真、以行为克隆微调得到的结论。
- SSR:面向开放世界的稳健对称人形行走(作者论文,arXiv:2605.30770v2)
对做机器人本体软件的工程师,可直接借鉴的有三点:一是把落脚安全判断从"触地之后"提前到"摆动腿还在半空",这属于奖励与信号设计层面的改动,不必替换整套控制栈;二是把左右对称增广从输入级(原始深度图)挪到潜变量级,作者称相对对照基线 InpSym 峰值显存 28.8 GB→23.7 GB、单卡可训;三是"深度图 + 单策略 + 不建图"是一套可照抄的落地组合:腰部 D435i 以 60 Hz 采前向深度,640 × 360 裁剪到 36 × 36,Jetson AGX Orin 上 50 Hz 推理。跨平台结果提示方法可换到不同尺寸本体,但需要在目标机型上从头重训,而不是直接迁移同一策略。
- SuperMimic:用单个可微世界模型扩展人形机器人全身控制
对做本体控制栈和训练基础设施的工程师,这篇论文变动的是成本结构:策略更新不再吃仿真器吞吐,rollout 在神经动力学里完成,所以「加卡换提升」这条经验不再成立——对照里 PPO-Sim 从四卡到八卡几乎无增益,而 SuperMimic 单卡 1.2 小时就达到目标回报 0.82;作者报告的对照基线 SONIC 需要 128 张 GPU 跑约 168 小时、约 21,000 GPU 小时。训练栈上要接的东西相对明确:从仿真器记录的转移拟合一个共享的可微世界模型,与策略交替更新;仿真器本身不需要可微,现有的刚体仿真器可以原样保留,这一点对已有 MuJoCo 系仿真管线的团队尤其重要,因为接触不光滑的刚体仿真本来就难做梯度。部署侧的证据是作者自己的真机演示(Unitree G1,一个通用跟踪器、不做逐动作调参,覆盖移动、接触丰富动作和杂技动作),属于论文报告的落地结果,不是厂商声明,但目前只到定性演示层面,没有实机的量化指标。另一条对写控制栈的人有用的经验是价值网络(critic,用于估计想象视野之外的回报)的作用:作者报告带 critic 时可以在更短的想象视野下训练,而且仿真推扰下带 critic 的策略能站稳、不带 critic 的会持续踉跄并在更高推扰速度下摔倒——不过这只是仿真证据,作者没有给出实机推扰的量化对比。
- 真实与仿真数据的 VLA 适配:机器人国际象棋案例研究
对机器人本体软件工程师,这篇论文给出几条可直接照做的判断:挑检查点只能看闭环成功率,验证损失和开环动作误差在这里会选错;比较检查点前必须做一次短的学习率冷却,否则差距可达 31 个百分点;真机演示不足时先用仿真演示预训练,128 条真实演示的量级上仍有明显收益;用策略自身轨迹继续训练这条路,在这篇论文的设置里没测出优于纯行为克隆的收益,可先暂缓投入。
- 规划器会利用确定性误差:抖动式低比特世界模型
给做机器人推理部署与本体软件的人一个不改模型、不需训练的低比特世界模型配方:把激活量化从固定就近取整换成"每轮重抽、候选间共享"的抖动,让采样规划器在迭代中追不到系统性误差。在作者实测中(共享抖动对 rollout 的额外延迟最多约 2.3%),Meta-World 上大部分量化掉点被挽回;但这是单篇预印本的作者自测结果,尚未见独立复现。
- ScanDreamer:面向四旋翼导航的地图接地世界模型
对做飞行策略的工程师,实用点是:把机器人本来就有的位姿、历史观测和传感器朝向显式写成一张占据图,让进度奖励和“想象”都挂在地图上,而不是指望网络在隐状态里自己记住;同等交互预算下成功率更高、碰撞更少,训练所需数据量也更低。
- 用检索到的引导做零样本 VLA 适配:RAGu 冻结模型权重,把跨域演示变成轨迹约束
对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。
- ReSkill:面向机器人操作的选择性自我改进
对机器人本体软件开发者,这套流程的价值在于把"改进"变成可审计的代码改动:失败被定位到具体节点和原因,候选改动经完整任务评估与配对比较后才被冻结,运行期零外部模型调用;验证过的技能和任务图留在库里供下一个任务复用——后加入任务中 39% 的任务专属函数直接沿用已有实现。
- LeRobot 发布 Cosmos3-Edge 的 LIBERO-10 微调策略权重:500 回合闭环成功率 95.2%
对机器人本体软件程序员,这是一份可以直接 `--policy.path=lerobot/Cosmos3-Edge-Policy-LIBERO_10` 加载的策略:模型卡给出了依赖版本、评测命令和完整的评测设置表,可以在本地复现一条 LIBERO 操作基线,再决定是替换数据集还是换任务继续做适配。"动作块+未来视频"联合输出的形态也说明这类策略内部带有世界模型成分,而不是只输出动作;推理时需显式传 `--policy.dtype=bfloat16`,因为模型卡把 `config.json` 的 dtype 故意设为 float32 用于微调。
- LLM 能靠直接改权重来调试机器人吗?(只改 65 行 token 嵌入的仿真结果)
对做机器人本体软件和策略调试的工程师,最直接的用处是换了一条排查路线:遇到“策略听懂了词却做错任务”这类故障,可以先查是不是词的问题,再考虑重采数据或重训——论文的做法是不做梯度更新、不新增演示数据,只改 token 嵌入里的 65 行。但它不等于通用调试能力:只在仿真里成立、只对改写指令有效;而且对照实验显示,整行替换这种更简单的做法已经能解释大部分增益。对做指令改写和评测的团队,另一个提醒是“指令字符串格式本身就能大幅改变分数”:同一条任务描述附不附场景元数据,可能让 FastWAM 的成功率从 70.0% 掉到 48.6%,所以评测时应写清指令是怎么拼出来的,而不要把它当作无关紧要的字符串。以上均为作者论文自报结果,本次材料中未见独立第三方复现。
- WorldBridge:桥接视频与动作,实现世界动作模型的任务泛化
对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。
- PrimeSim:可当机器人仿真器运行的动作条件多视角世界模型,Hugging Face 开放权重与训练/推理代码
对机器人本体软件程序员最直接的好处是:不必先搭建物理仿真环境,就能按自身动作预测多视角画面变化,可在接入真机前先看动作后果;仓库同时提供训练与推理代码,微调可从中途训练权重起步,推理用第 4 阶段少步权重。其定位是生成式仿真替代方案,模型卡未给出物理精度,也没有仿真到真实(Sim2Real)的验证数据,模型卡所述基准成绩属厂商自述而非已验证的落地效果。
- DexHOT:把灵巧操作的目标从物体位姿换成手-物构型迁移
对做灵巧手控制与本体软件的工程师,最值得借鉴的是目标接口:把"目标"从物体位姿扩展为手-物关系(论文用一个杯子的例子说明只指定物体状态是不够的)。实现上,上层由贪心规划或一次人类演示给出构型子目标,子目标以 1 Hz 更新;下层一个冻结策略在 30 Hz 上闭环跟踪,负责中间手部动作、手指步态和换握,物体运动与最终手部摆放都能被显式指定。上游来源(规划或演示)与底层控制实现分开,换上游来源时不必重写底层控制。文中所有成功率均为作者在自建基准与自测协议下的自评,尚未见独立复现。
- 修复(模型):阻止批处理填充改变预测动作
对做机器人本体软件的工程师,这是一个直接影响部署确定性的坑:批量推理时同一条观测的输出不应依赖同批次的其他样本。GR00T 的做法是把这一行为变成两个显式开关,并写清与 TensorRT 导出/服务路径的冲突,避免把批次组成变成难以复现的隐藏变量。以上行为与代价均以 NVIDIA README 的记载为准,属厂商工程说明而非独立复现结论。
- lerobot/Cosmos3-Nano-Policy-LIBERO_10:LeRobot 公开 Cosmos3-Nano 的 LIBERO-10 微调权重与评测复算配置
这次改变的是交付形态而不是指标本身:权重、复算命令、依赖版本和采样口径都写全了,做本体软件的工程师可以在单张 A800-SXM4-80GB 上按同样口径核对数字;加载时用 `--policy.path` 指定该仓库即可一并拿到配置、权重和处理器(推理与评测要传 `--policy.dtype=bfloat16`)。但证据范围只有 LIBERO-10 这一个仿真套件,能支撑的判断是「这套配置下能否跑通并复现」,不能当成通用操作能力的结论。
- 当视觉压过语言:评估并缓解 VLA(视觉-语言-动作模型)的反事实失败
对做机器人本体软件与部署的工程师,这篇把“模型到底有没有在听指令”变成一个可测项,并给出不改基座结构与预训练权重、只在推理期生效的补偿手段;代价是每次多一条推理分支,以及 VA 版本需要额外训练一个只看图像的模型。
- 在 VLA 中桥接表征与动作空间,实现人机迁移(H2RB)
对机器人本体软件开发者,用处很直接:目标机器人数据不够时,可先用人手视频补充新物体和新技能的监督,而不必强行让人与机器人的动作参数一一对齐;代价是训练管线里要加一套按本体分支的动作隐变量分词器和一路几何回归头。论文给出的量级说明,这类混合训练确实能补上源机器人数据里没有的行为。
- DynaFLIP:通过三模态动力学引导的表征重新思考机器人感知
对机器人本体软件工程师,这提供了一条"换视觉骨干"的路径:编码器在下游冻结、或只训练一个轻量注入模块即可复用,不必改动策略结构;预训练只需 RGB 视频,不需要机器人动作标注。作者更大的主张是:机器人泛化部分是一个感知问题,视觉表征应编码动力学与控制相关信息,而不只是视觉显著性。
- ROOF:在头顶障碍约束下学习人形机器人的跌倒恢复
对做本体控制与策略部署的开发者,有三处结构可直接借鉴。一是输入侧:几何信息只在训练时用来算奖励,部署时策略只吃机器人自身状态(93 维本体感知),不必再向部署环境索取几何或接触信息,接触也只是训练信号。二是奖励侧:几何引导只反馈“有没有让出空间”,不指定逃离方向或接触顺序,所以同一条策略能应付训练里没见过的家具与多物体布置(真机 150 次尝试中成功 95 次)。三是实现细节:先验得分与起身、平滑项相乘,执行成本与逃离项用加法,因此先验得分低时逃离反馈仍然保留;关节停滞成本用来抑制机器人持续高力矩顶住障碍却几乎没有关节运动的情况。另外要注意,本次材料能比的只有“去掉几何引导”这一项(18.9% 对 88.5%),其余奖励项各自贡献多少无法从材料判断;真机的 95 次成功是次数口径,不能直接当成与仿真同口径的百分比。
- HeLM:面向非马尔可夫操作的分层显式语言记忆
对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。
- 基于能量的策略编排(Energy-Based Policy Orchestration)
对机器人本体软件工程师,EPO 可作为高层规划与已有低层控制器之间的一层运行时适配:不改低层策略,只在运行时按状态挑策略并微调下发的低层目标;新增技能时只需为该策略补一个能量模型(约 30 GPU 分钟),而不是重训策略或维护一个需要随策略库变更重训的集中式调度器。它更适合已经训出多个互补控制器(精度型、鲁棒型、站立型)、但缺少统一取舍机制的团队。
- NVIDIA Cosmos3-Nano-Sim-Auto:用 Cosmos 做面向物理 AI 的交互式世界仿真
对自动驾驶与机器人软件开发者,这次的关键变化是闭环输入直接来自策略自身的规划轨迹,且相机与激光雷达是联合生成的(官方称用于支撑空间与时间一致性),因此多传感器感知栈与驾驶策略能在同一次 rollout(一次连续生成)里一起评估,而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU,模型卡未提及嵌入式或车端部署,因此按现有公开信息,它更适合放在数据中心侧跑仿真生成数据,而不是直接装进机器人本体。
- HandMimicX:通过以物体为中心的策略从第一视角视频学习类人灵巧操作
对做机器人本体软件的工程师,这套流程把“复刻人手轨迹”换成“把物体送达目标状态”:一条第一视角视频即可产出可换位复用的策略,手部姿态又受真实演示的接触约束而不是自由漂移;预训练+按任务微调,以及 DAgger 蒸馏,给出了从仿真训练过渡到真机部分观测的常规接法。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- 一次扫描就够:语言引导导航的无示范适配与真机验证
对机器人本体软件开发者,最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据,换成一次扫描加一次人工标定:同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路,而不是他们的模型或数字;换用自家策略与本体仍需自行复现,本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
- Cosmos-H-Dreams:英伟达面向外科机器人的实时动作条件世界模型(模型卡已指向更新版本)
对接机器人本体或策略软件时,接口是明确的:给一帧上下文图像加一条 44 维动作流,服务每 12 个动作步回传 12 帧画面;人可以拿键盘或 Meta Quest 头显手动驱动,也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库,对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述,落地前仍需在自己的场景、动作空间和硬件上实测。
- MimicAll:面向跨人形机器人全身动作跟踪的结构化本体条件化
对做本体软件和全身控制策略的工程师,最值得借鉴的是把目标机体的结构、形态、动力学写成显式描述符,作为条件与观测一起送进共享策略,从而用一套参数覆盖多副身体;条件化方式可按目标取舍——论文里自注意力取得最低的全局位置误差,而简单拼接就足以改善动作完成率。工程上,参考库留在主机内存、只把活动的时间窗搬到 GPU,使显存占用不再随完整参考库增长,上千机体变体也能共用同一套训练流程。需要清醒认识的是:本文结论全部来自仿真,换到未见机器人家族会明显失效,真机与安全验证要自行补齐。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- 看好脚下:面向人形机器人行走的预判式感知
对运动控制开发者,值得借鉴的是用预测落脚点筛选策略观察,而非把预测位置作为必须跟踪的落脚目标;作者实验表明,这种输入设计可减少达到指定地形难度所需的训练迭代。
- 超越外观变化:为 VLA 模型做任务语义动作校准(Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models)
对做机器人本体软件的开发者,可借鉴的是接入方式而不是网络结构:校准层作为可插拔组件挂在共享 VLA 的动作输出上,骨干权重不动,训练侧额外准备“保义改写”和“语义破坏改写”两类指令对即可,推理侧默认路径的代价是 p50 增加 47–53 ms。作者主张的工程逻辑是:目标或约束真变时,先让策略“不再按旧任务继续跑”,再谈改对,这比笼统追求鲁棒性更贴近部署中“指令换目标”这类变更。保义支路则把“什么时候才允许改动基础动作”写成显式证据门控,可用于设计回退与监控策略;但它需要再查一次冻结策略,端到端延迟接近 1 秒,按其量级更适合作低频或早期修正,不宜放进高频控制回路。文中全部数字来自作者自测的仿真与真机试验,本次材料未见独立复现。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- SimPT:用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者,价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程;真机验证的是由此开发的训练改进,而非自动恢复机制直接部署到真机。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- AWLS:面向单步生成式机器人操作策略的优势加权潜空间引导
为已有单步操作策略提供一种保留解码器的离线适配路径;部署端无需保留价值评估器,也不引入迭代去噪或候选动作筛选。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- 弗雷歇强制:用短片段训练长时域流式世界模型
对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。
- Humanoid SRL:通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者,这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考,而非把第三臂当作独立机械手。
- HydroShear:用于触觉仿真到现实强化学习的水弹性剪切仿真
对触觉控制开发者,这项工作提供了以接触历史和滑移建模改进仿真到真机迁移的路线;工程接入需同时考虑真实数据标定与底层接触模型。
- OxyGen:多任务并行下视觉—语言—动作模型推理的统一键值缓存管理
对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。
- 价值即记忆:面向通用机器人策略的在线价值引导后训练
将价值预测从训练监督扩展为策略输入,为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。
- T2-z:面向机器人世界模型的环境潜变量测试时优化
提供了一条冻结世界模型、仅优化环境表示的测试时适配路线,使交互证据可用于执行前比较候选动作结果,无需预定义物理因素监督或独立环境编码器。
- Spark-0:面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督,而不只是部署时的额外输入;无触觉部署的 Ego Humanoid 结果是关键证据。
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- 面向长时域越野导航的可通行性学习
这项作者研究展示了用驾驶轨迹与地形先验学习全局导航地图的路线,将远域地理信息与近域实时避障分工衔接;其评测反映与人类驾驶实践的一致性,而非路径最优性的证明。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- DemoStream:面向自动化示范学习的批量任务与运动规划优化
作者实验强调:规划能完成任务不等于其示范适合模仿学习,示范优化应关注下游策略效果。
- 迈向仿生视觉导航:面向微型飞行器的神经形态导航范式
这项作者论文把事件感知、脉冲决策和硬件执行接入真机导航闭环,为低推理能耗的微型飞行器导航提供了系统级可行性证据。
- 机器人策略应该学习预测什么?重新思考视觉—语言—动作学习中的监督目标
将“预测什么”与“如何分配监督”变为可控的训练设计变量;同源对照有助于区分路由分配的影响与目标表征、辅助专家差异。
- LoopWAM:利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。
- 通过广义执行器网络实现肌肉驱动机器人的仿真到现实迁移
提供了一条无需力矩传感器、将复杂执行器学习与已有刚体仿真结合的策略训练路径;场景增删物体不必重新训练执行器网络。
- MAIA:通过多模态世界模型预判接触密集型操作中的交互异常
这项工作展示了世界模型的一种用途:预测计划动作的物理后果,为执行前的候选动作筛选提供依据,而不只在异常出现后报警。
- 面向自适应 VLA 动作块执行的策略对齐预测验证
将未来预测用于判断已有动作提案可以执行多远,而不是生成新动作,为既有 VLA 的执行长度选择提供另一条路径。
- Fast-VLA:机器人操作只需思考一次
论文提供了一种推理优化路径:固定任务上下文不等于开环执行,在线执行器仍利用实时视觉与本体感觉反馈更新动作。
- 重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号,而非强制的推理期文本前缀;其价值取决于监督是否可靠、是否与动作学习有效耦合。
- 世界建模与动作建模能否在统一因果训练下相互受益?
作者的受控比较支持:在所测因果架构与任务中,显式学习动作的视觉后果与学习生成动作可提供互补监督,而不只是单向利用视频预测辅助策略。
- EgoJEPA:超越重定向,从第一视角视频学习灵巧操作
提供了一条以共享潜在动作连接人类视频预训练与机器人控制的路线;作者实验支持其在所测本体间复用预训练、降低重复适配开销的价值。
- 多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
- 用含失败轨迹微调 Boundless 世界模型:RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体:世界模型(world model,即根据动作生成后续画面的模型)产出的视频一旦把失败画成成功,就不能拿来判断这一把有没有抓住;这份检查点显示,把失败轨迹喂回世界模型能明显压低这种「假成功」(留出片段上失败误读率由 0.825 降到 0.263,成功召回 0.964)。权重与基座同结构(同一 DiT 扩散变换器与动作编码器状态字典,仅推理权重),可直接替换 `step-12000.safetensors`,接入已有推理管线改动很小。接入时照卡片的推理契约即可:每窗 61 帧(1 初始帧 + 8 历史帧 + 52 未来帧),`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`,动作取 BWM 的 `eef_abs` 空间;卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用,需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
- PINT:以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师,可直接借鉴的是接口层面的三点:把跨模块共享信息压成一段紧凑的意图表示;只替换视频生成模型的条件入口、保留其预训练生成机制;以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向,使延迟与同规模 Fast-WAM 接近(331 毫秒对 266 毫秒),本体实时性压力可控。
- 基于在线接触式几何估计的负载感知四足机器人导航
将负载几何估计与导航策略连接起来,并用循环记忆保留稀疏接触信息,为未知尺寸负载的导航适配提供了研究路径。
- TartanMatch:迈向跨模态通用稠密对应
该工作为多传感器稠密对应提供共享模型路线,并在指定实验中显示跨模态联合训练的正迁移。
- 无需更新策略的基于流的策略适配
提供一种把任务理解留给底层智能体、以目标无关专家先验选择性修正执行动作的适配路径。
- 像世界模型一样思考,像VLA一样行动:将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。
- TaskAnchor:为长时程操作中的反应式VLA锚定任务状态
作者实验支持将历史证据与显式阶段条件结合,用于改善预训练VLA的历史依赖动作选择,而非另设规划循环。
- Reflex:视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径,价值在于解耦视觉学习与全身控制,而非证明通用人形技能。
- 模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持,也表明ModAR在受测任务中可利用无动作人类示范改善表现;不据此推断通用操作能力。
- 一种用于协作机器人运动生成的物理信息碰撞学习框架
为固定工作单元中的双臂规划提供可微的实体间距信号,并展示了边界监督与闭环控制结合的路径。
- ARC:面向机器人基础模型的推理配方
对机器人本体软件工程师,这是一条不靠堆数据的改造路径:不重新采数据、不重训基础模型,用自动生成的因果轨迹改造已有策略,改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- EagleVLA:通过前瞻对齐的异步推理迈向机载实时机器人控制
将动作条件的未来表征预测与置信度调度结合,为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
- Long-WAM:扩展世界—动作模型的上下文
作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。
- 成功的多种路径:面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标,为改善所测分布偏移下的VLA泛化提供了一种训练思路;这里呈现的是作者实验结果,而非独立研究复现。
- 人形机器人全身控制中的精确 SE(3) 末端执行器跟踪
该研究展示了将显式任务空间几何反馈与学习修正结合的人形全身控制路径,并区分了参考系引入的目标运动与实际动力学扰动。
- StressDream:引导视频世界模型,用于鲁棒策略评估与改进
该研究展示了用引导生成筛查候选轨迹失败风险、并以悲观生成辅助示范重加权的路径;证据限于作者所评估的设置,不外推为通用策略能力。
- 多少规划才足够?减少世界模型规划中的搜索与计算
将“结果足够好”的预算校准与单次求解内的计算复用分开,为既有世界模型规划器提供部署侧优化路径,而非改进模型本身。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- 条件轨迹峰:面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
- FLEX-WAM:面向长时程想象与规划的灵活块因果世界—动作模型
该作者论文展示了由同一模型提供动作提案与想象结果的规划路径,并将动作响应性作为联合训练中需要主动维护的能力。
- DiVeR:面向VLA测试时扩展的决策关键性验证器学习
该作者论文提示,VLA测试时扩展不仅取决于增加候选数量,也取决于让验证器重点学习动作差异真正影响结果的状态。
- 测试时训练作为机器人策略的残差记忆
这项作者研究支持一种互补记忆设计:快权重重点学习已有上下文解释不了的历史,而非简单叠加两种记忆机制。
- ResCue:用于语言条件模仿学习的残差空间提示
作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。
- EgoFound3R:具有逐点交互属性的世界空间端到端第一视角手部重建
把几何与交互属性解码合并,并减少重复场景聚合,为第一视角视频的大规模手部标注提供一条统一处理路线。
- 学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照:在底层稳定跟踪的条件下,可以考察降低策略更新频率,而非默认追求高频。
- 连接前沿推理与机器人执行:从自主示范生成到密集语言监督
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
- TimelyDAgger:用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
- 面向安全人形机器人全身跟踪的滤波器感知微调(CoFiT)
对做机器人本体控制软件的工程师,这是一条"只改跟踪器、不改滤波器"的改造路径:现有安全滤波器继续承担训练后才出现的约束,跟踪策略通过一次带滤波器的微调学会主动少让滤波器动手,真机上把需要急停的次数从五次降为零次、违规时间降低 83%;代价是跟踪精度下降,需按场景取舍。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- SteerQuant:在世界—动作模型中通过动作引导缩放调控量化误差
作者结果支持以最终动作影响指导量化误差分配,并用融合内核减少缩放开销,为世界—动作模型的低位宽推理提供一种方法。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
- 无人机足球:学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据,展示了简化动力学模型配合闭环学习控制的用途。
- RawVLA:面向机器人操作的具身神经图像信号处理器
该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。
- Guava:通过机器人操作工具框架将前沿视觉语言模型蒸馏为紧凑智能体
作者实验提示,共享工具接口与仿真交互经验可为紧凑操作智能体的本地部署提供路径;能力来自模型与工具系统的组合。
- ContactExplorer:面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件;受限物体取回实验显示,它可减少对人工接触初始化的依赖。
- SCOUT:通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。
- 多机器人轨迹去噪
将无需学习的扩散去噪作为轨迹优化工具,并扩展为解耦、在线和分布式规划,为不同规模与计算条件下的多机器人协调提供方法选择。
- 通过流匹配中的条件退火重新思考因果动作词元化
该工作将动作词元的生成阶段结构与自回归预测目标对齐,为动作离散化提供了不只追求压缩与重建的设计方向。
- 利用视觉—语言—动作模型学习在视觉中断下行动
将摄像头完全停止供帧与可用图像的内容扰动区分开,并把预测失效后的缺失输入控制作为回退路径,为研究视觉断流下的闭环可靠性提供评测与方法设计。
- 时间强制:面向视觉—语言—动作模型的四维表征对齐
这项工作支持将“提供历史输入”与“监督历史保留什么”区分开来,为历史感知VLA提供了训练期表征监督路径,而非仅扩展输入历史。
- 估计,而非模仿:复用可微分的基于状态的策略实现视觉运动控制
作者实验支持将感知学习与既有控制器复用分开:状态估计不仅要接近真值,也可按其对下游动作的影响优化;收益及损失权重仍依赖任务。
- ZeroBot:借助生成式 Real2Sim 在数分钟内从零学习
作者实验表明,生成几何不仅能用于搭建仿真,还能直接参与接触状态选择,加速特定任务的策略学习与仿真到真机迁移。
- 机器人学习中的潜在动作,什么最重要?
为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。
- 生成、跟踪、改进:利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明,生成器微调可调整技能选择与地形一致性,是跟踪器微调之外的补充改进环节;不据此推断通用运动能力。
- VLAQuantBench:视觉—语言—动作模型训练后量化的闭环评测
研究支持将层范围、数值格式与校准配方联合做闭环验证,而非套用通用层敏感性规则。作者报告开放评测代码、配置、层范围定义和回合记录,为后续比较提供工程基础。
- 从预训练到熟练掌握:以最少人工干预开展面向长时程操作的真实世界子任务强化学习
提供一种保留基础策略、用局部奖励集中修补失败环节的适配路径;改进仍以完整任务执行评估,而非只看孤立子任务。
- 赢下已赢之局:面向高维黑箱系统的严格到达—避障—保持控制障碍函数
该工作把安全过滤的目标从单纯避险扩展为保留完成任务及保持成果的可能性。理论区分可行性保持与实际到达:进入终端安全集后的保持具有条件保证,但不能据此宣称任意任务策略都必然有限时间到达。
- 打破视觉—动作捷径:面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。
- ICI-VLA:面向视觉—语言—动作模型、利用时空对齐示范的上下文模仿
作者实验支持将时空对齐示范作为固定策略的测试时适配输入;消融中,移除掩码、DTW或语义筛选均降低成功率。
- 以潜在动作为意图,使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
关联报告
来源与阅读
- RLinf-USER v4 · §V / Table II–V · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RECAP v2 · §IV–VII · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- GR00T N1.7-3B 模型卡 · 固定快照 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
