核心跟进 · 模型怎样将观测与指令转为推理、预测和动作?
主要路线与入口
进展与证据边界
公开样本核查:2026-10-10。窗口内 RLinf-VLA v3 补真机迁移对照,改善执行效率但未提高该任务成功率;WALL-WM v2 明确真机进展分并增加仿真二值成功评测。后训练与世界动作建模都有具体依据,尚不能形成跨模型通用排名。
统一动作流与分层推理是可组合的接口选择,见 VLA、分层与组合。版本增量、开放边界和缺口见 技术基线。
与相邻领域的关系
训练算法归 K03,动作的物理实现归 K04;世界模型的预测质量需联系 K02 与 K09 判断。
训练、适配与算力部署 · 本体、感知与执行能力 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 论智能体式操作策略(On Agentic Manipulation Policies)
给机器人本体软件工程师,有三件事可以直接用。 第一,动作原语可以不给。AMP1 的外壳只提供感知与运动接口以及错误恢复,抓取、推送、放置由模型在每个回合现场写成代码;同一套外壳因此能覆盖单臂、双臂和移动操作,也不需要示教数据或任务特定训练。这把“能力不够就往技能库里加动作”的思路,换成“外壳保持稳定、强度交给模型”。 第二,外壳接口的容错约定直接计入结果。启用 RfE(错误恢复)时真机是 104/108,去掉该接口后是 94/108;而辅助抓取/放置例程对不同模型的作用方向相反——最强的四个模型加了辅助外壳反而更差(最多掉 7.5 分),最弱的六个模型反而更好(最多涨 17.6 分),中间的模型没有收益。做本体软件的人需要自己划定接口边界、错误恢复与辅助例程的取舍,而不是默认“多给点能力总没错”。 第三,记忆库是低成本的能力增量。模型权重不动、不做梯度更新,只记录观察、策略和代码,RoboDojo 双臂任务上未见布局的成功率就从 26.4% 提到 84.1%,单遍顺序连续学习到 57.6%,并且能迁移到还没尝试过的任务而不抹掉已有收益。 需要保留的判断:这些数字目前只有作者自评的预印本支撑,没有独立复现;对照的 VLA、WAM 成绩取自公开榜单条目,不是作者在同一环境下统一复测,而且当时榜单上最强的条目本身也是智能体(SenseNova-RoboRSI,57.1%),最强学习策略 Lakeside 为 51.0%。另外作者自己指出,LIBERO-Goal 上失败的回合几乎都是智能体自认为已经成功,人工复核认为它对指令的理解与人类一致、却与基准校验器不一致——基准分数与实际可用性之间仍有一段距离。
- Homeward:没有哪个视角比训练时的视角更好
对做机器人本体软件的工程师,这是一条不动模型权重的兜底路径:现场相机被挪动、重装或换镜头后,只要备好机器人运动学模型、一张训练视角参考图和一次性的训练相机标定,就能在不改动冻结策略的前提下把画面拉回策略熟悉的视角,保住闭环成功率。相机参数与场景深度由现成的单目 3D 基础模型在运行时估计,部署相机本身不需要标定,也不需要任何场景微调数据。代价是每次策略查询约 0.21 秒的额外开销(作者说明这是由还原与冻结两种闭环回合的墙钟时间差间接推得,而非直接测量的还原延迟),对 8 步动作块(一次决策输出多步动作)的策略摊到每个控制步约 27 毫秒。系统还有一层兜底:首次查询(t=0)的相机估计若满足旋转小于 0.5°、平移小于场景中位深度的 1%、焦距变化小于 10%,整回合直接透传未经还原的原始帧。
- PILOT:用想象出的子目标与策略先验引导机器操作的长时程世界模型规划
对做机器人本体软件的工程师,可落地的思路是在规划层加两段适配:用视频模型把语言指令变成分阶段视觉子目标,用现成的 VLA 策略给 CEM 热启动,不必人工准备目标图像或中间子目标;策略本身再弱也能当先验用。代价要按部署节奏估:每个回合需要在线生成一次视频子目标,每次规划调用再在线跑一轮 CEM,比直接执行策略多出时延和算力;子目标按固定日程推进,执行落后时不会自动调整时序,失败抓取后的恢复较难。
- 原地卡住:JEPA 规划器的停滞诊断与补救方法
对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。
- CoRA-VTLA:面向触觉后训练的接触引导注意力与可查询响应记忆
对做机器人本体软件的开发者,这是一条可复用的触觉接入路径:触觉不必整体拼进动作专家,可以先编码成按当前状态检索的响应记忆,再用指尖接触的投影约束视觉注意力落点。两个模块都在预训练 VLA 上做后训练,响应预测阶段不启动主干,只训练两个触觉编码器。
- TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
- 独立研究:Robotic World Model 仿真器与行走策略的机器人层面测试
给做本体软件与仿真评测的工程师:仿真器的预测精度不能直接当作“策略会走”的证据,需要另加策略闭环测试作为另一类证据;同时要分清证据层级——在仿真器里闭环跑一遍策略仍不等于真机验证。本次材料里全部结论都止步于 MuJoCo 仿真内。
- 面向具身操作的零样本组合泛化:用几何监督跨机器人复用演示
对做本体软件和部署的工程师,实用价值是把"关节标签"换成一个可标定、可冻结的中间层:共享动作坐标 + 每台机器人自己的原生解码器。带来的变化是,以前没采过的机器人—技能组合,可以由别的机器人的演示提供监督,而三个策略骨干沿用自己原有的动作模型结构、流目标与观测条件,改动集中在动作接口这一层。 但要说清落地成本:这不等于"策略侧不用动"。策略必须在新的共享动作坐标上重新训练(接口只提供共享动作目标与原生实现,观测相关的技能判断仍由策略主干从图像、指令和本体状态中学习),训练完成后由目标机器人的解码器把预测动作还原成本体的关节指令去执行;若采用 Full 变体,策略阶段还要额外开启几何(FK)损失,这项损失通过冻结但保留梯度的解码器与 FK 更新策略本身,需要单独训练与评估。所以准确的描述是:骨干架构、流目标、观测条件与训练曝光量不变,动作接口与策略训练适配需要做。 接入点也很明确:每台机器人的运动学描述、关节限位、安装变换与工具标定必须已知;接口层训练完即冻结,运行时按机器人身份切换对应的原生解码器与归一化,动作生成路径不变。另外该方法要求每台机器人都有自己的原生演示数据(每台被评测机器人都出现在策略训练中),因此不能直接用于完全没有任何本体数据的机器人。 另外两点有助于判断能否落地:一是跨机器人监督只是位姿级约束,轨迹连续性、避碰和是否真正接触成功仍要在实际执行中检验;二是论文自己分析指出,只做原生重建不足以确定外机解码结果的物理含义,这正是必须显式引入几何对应的原因。
展开其余 143 条历史观察
- Body Schema Policy(BSP):把“身体图式”写进视觉—动作接口的小型全身策略
对做本体和控制软件的工程师,这篇论文给出的东西更像一份结构说明加一组部署数字。 第一,策略接口的形态。论文把机器人建模为以根为起点的运动学树:直接控制的关节构成连通子树并带父子关系,底盘速度这类交给底层控制器的命令作为“离树”坐标单独处理;论文也明确说本体和底层控制器决定策略的命令空间。所以迁到新本体时,主要工作量是把关节层级、指令语义与底层控制器接口对齐,而不是去收集大规模预训练数据。另外策略输出的是关节目标,工程上仍然需要一个能稳定跟踪关节目标的全身控制器——真机实验中三个策略都通过关节空间控制策略 HoloMotion v1.4 控制从腿到手指的全部 43 个关节。 第二,延迟与规模的量级。仿真评测里一个动作块(16 步)13.9 ms,真机所用主机上 17.4 ms;服务路径的做法是缓存与观测相关的视觉 key/value、并把每轮去噪作为捕获的 CUDA graph 重放,这套部署侧做法可以直接照抄。它还意味着策略按“执行完整个预测动作块再取下一次观测”的方式工作,接进现有控制回路时需要按这个节奏安排观测频率。 第三,可诊断性。每个部位读画面的区域不同,而且这种分工不是人工标注监督出来的;排查某个关节动作异常时可以直接看该部位的敏感度落在画面哪里,也能理解为什么手部指令需要局部细节、底盘指令需要全局视野。同时要清醒:这套结构不能顶替视觉表征——把 DINOv2 换成从头训练的 ResNet-18 会让总分大约减半,所以换本体或换视角时仍要准备好高质量预训练特征与相应适配工作。
- 让心构想,让手实现:面向长程操作的接地动作与进度评估耦合
对做本体软件和集成层的工程师,这套思路的价值在于:保留预训练 VLA 当动作策略,在外部加一层负责拆解指令、重新定位物体、判断"这步做完没有"的编排层,子任务边界重置视觉历史并重新接地,完成记录按 episode 保留。作者的消融提示,编排与空间接地各贡献一部分增益,而"何时切换"即使换成仿真真值也几乎不改变序列长度——瓶颈仍在动作执行本身。
- 每台相机都在「长大」:交互式视频世界模型中的相机高度回归
对写机器人本体软件的人,最直接的影响是:世界模型生成的第一人称画面,未必是这台机器人的视角。起点画面锁的是相机自己的离地高度,一旦转身去补画背后的房间,相机高度就被拉向人眼高度带;把这些画面当作导航策略的评估输入时,策略看到的其实是一个并不属于自己的视点。这不只是观感问题:仅姿态漂移本身,就把视觉导航策略预测的路径终点推移了 0.12 至 1.18 米。可直接做的两件事:一是评测时把相机高度保持性与轨迹一致性一起报告(作者也这样建议),「画面看着对」不等于「视点对」;二是检查采样配置,去噪早期开着文本引导时可考虑先关掉一段引导,并用高度平衡的微调补上缺失的低视角画面。另一个容易被忽略的细节是:Matrix-Game 生成的片段在几何上自相矛盾,地面纹理以恒定仰角旋转,新补画的墙面和家具却暗示更高的相机。需要注意,全部干预实验只在 SANA-WM 上做,论文没有验证这些做法在其他世界模型上是否同样有效。
- 《Lazy-MOSAIC:用学到的技能效果世界模型加速以技能为中心的操作规划》
对做机器人本体软件的工程师,这套做法是把「便宜模型筛选、物理仿真把关」接到技能库规划器上:便宜模型决定哪些技能值得占用一次仿真调用,仿真器保留最终验证权,因此能压低仿真调用量而不放弃基于物理仿真的安全前提。前提也很明确——工作空间几何和物体类型须预先已知,学习模型针对该半结构化环境离线训练,作者把跨工作空间泛化列为下一步。
- WorldOracle:对照真实执行评测动作条件世界模型
对做机器人本体软件和模型训练的人,这套基准给出的是一个可直接上手的流程:把真机录下的动作序列开环回放给自己的世界模型,再把预测画面与配对的真实执行逐项对比,从而把"动作跟上了吗""结果对了吗""随时间退化多少"分开看。GE-Sim 2.0 在 AgiBot G2 全程评测中多视角动作一致性 96.96、物理状态正确性只有 60.26,说明只看画面质量或只看轨迹贴合都会漏掉真正的失败。作者声明提供覆盖四项指标的评测工具包与排行榜,这属于作者自建的评测体系与开放产物;本次材料只包含该论文及其排行榜说明,未见独立第三方的复现或交叉验证。
- SALA:用语言描述对齐人机隐式动作,让通用人类视频成为可扩展的机器人策略监督来源
对做机器人本体软件的工程师,有用处的有两点。一是监督来源可以按小时计量:先用一批带原子动作描述的数据训一个跨本体的隐式动作分词器,之后人和机器人的视频都被映射到同一套语义对齐的动作编码上,策略用同一套编码同时从两类数据里学——预训练阶段可以用通用人类视频补充机器人数据而不必新增遥操作采集,新任务则能在固定遥操作预算之外用便宜的人类演示补强(真机上固定遥操作演示、逐步增加任务相关人类演示,平均成功率 53.75%→72.5%)。二是部署侧不增加负担:教师分词器和未来帧只在训练时使用,部署时策略只看当前观测。代价是流程里多了一个要单独训练和维护的分词器环节,它要求为训练片段准备原子动作描述,而策略本身不吃这些描述、只从视频帧学习。需要提醒的是,本次核查材料中的所有数字都出自作者自测的仿真与单台真机实验,没有独立复现证据。
- ContactGuard:基于动作条件潜空间世界模型的接触前执行监控
对做本体软件的开发者,它可以当一个策略外的门禁模块:夹爪闭合前先问一次“这段动作块会不会失败”,不行就在接触前否决,底层策略不用改,单卡即可实时(RTX 5090 上完整判别约 22 毫秒)。代价是每个任务要凑一批带标注的接触前片段来训那个线性探针,并针对具体接触事件设计触发器。
- ActionUNet:冻结 VLA 主干、只改动作头的多尺度微调模块,提升杂乱场景下的鲁棒性
对机器人本体软件开发者来说,这篇给的是一份“主干不动、只换动作头”的改造点清单: - 插在哪:预训练主干冻结、只训动作专家,沿用基座原有训练目标,回归式与流匹配式策略都能接,感知与语言侧不用动。 - 改哪里:在“时间对齐的动作特征”上做 U-Net 式多尺度融合,而不是在图像或语言语义层做多尺度,因此不必为不同基座重做感知/语言结构。 - 怎么出动作:把动作块当作连续时间上的轨迹建模,条件 SIREN 出局部场、Matérn 核做加权聚合,二阶平滑约束用于压抖动、保时间连续。 - 部署侧的账:策略级单次调用 60.947 ms(±0.251 ms)→ 64.886 ms(±0.376 ms)。这是纯策略计算口径,论文明确提醒不能当作端到端机器人执行延迟——机械运动、低层控制器约束、安全限速、夹爪动作和接触交互都要另算。 - 选型提示:消融显示补上 Matérn 核后四个任务为 easy 77.8%、hard 46.5%,两段结构需配合使用。
- Ego2Sim2Humanoid:把第一视角眼镜录像转成经物理验证的人形机器人移动操作训练数据
对做本体软件和数据管线的工程师,这条链路值得看的地方在两端。采集端从"受训操作员+真机+动捕"换成"人戴眼镜走一遍",数据采集的门槛结构完全不同;判定端把"接触到底成不成立"交给物理仿真——够不着、夹不住的轨迹先在仿真里被淘汰,再上真机微调,能减少无效采集和真机试错。图像、本体感知与动作同源于一条仿真轨迹,训练数据不需另外做时序对齐。 动作侧并未另起炉灶:训练标签就是闭环的全身动作 token 加手部关节指令,也就是在仿真里真正移动了物体、同时保持平衡的动作序列;推理端沿用既有链路,GR00T N1.7(3B)输出 78 维动作块,由冻结的 SONIC 解码器在 G1 上执行,本体控制栈需要改的只是数据来源。 现实约束也摆在眼前:数据可用性取决于物体好不好抓,薄壁帽子的录像在进入仿真前就被大量丢弃(154 段只剩 59 段);真机上抬瓶成功率 45%、戴帽 25%,失败同样集中在抓取阶段。
- PingpongDuo:带安全团队协作的敏捷人形乒乓球双打
对做机器人本体控制和策略上线的工程师,这套做法把“多台机器人共享狭窄空间”的协调问题拆成了可分层实现的结构:上层用带风险检查的联合站位选择加按角色加权的回退来管互撞;下层把移动与击球分开训练,并显式用彼此产生的身体状态做初始化,以支持技能之间的连续交接;手臂残差那条路还给出一个具体提醒——球拍跟踪误差更小未必回球更好,需要按实际回球结果来修正击球动作。
- 美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统
对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。
- TEMPO:面向视觉-语言-动作模型的语义-动作解耦强化学习后训练
对做 VLA 在线后训练的工程师,可借鉴的是一种模块级 RL 拆法:把语义接口和动作专家分到各自的 TD3 循环,用更新频率差去对齐两者不同的适应需求(语义侧慢、动作侧快),同时冻结主干以保住预训练的语义知识。落地前提是模型结构里要有一个可冻结的视觉语言主干,以及一个能与动作专家分开优化的条件接口——作者在 FLOWER 之外把同一方法用到了 VLA-Adapter-Pro(用其原生的分层 key/value 投影充当语义投影模块),SR5 从 77.23% 提到 79.17%,平均连续完成长度从 4.437 提到 4.487。工程代价是两条循环各要维护一套回放缓冲区、评论家等组件。频率设置上,5:1、10:1 相对预训练策略分别高 3.9 与 3.4 个点,而等频 1:1 反而略低,说明收益来自两个模块都参与更新、且两者更新频率存在差别。以上均为作者论文自报,未见独立复现材料。
- LoongForge/LoongForge-LingBot-VA-RoboTwin:LingBot-VA 在 RoboTwin 2.0(50 任务)上的监督微调检查点
在相同数据与训练计划下,LoongForge 训练出的检查点与厂商自己用官方 lingbot-va 代码重训的对照模型数值接近(清洁 87.6% 对 86.1%,随机化 85.7% 对 85.1%),说明换用 LoongForge 框架未见明显能力损失;同时仓库直接给出可加载的权重目录与 RoboTwin 2.0 评测入口,对做操作策略微调和评测集成的工程师有直接可用性。但这是厂商在自家模型卡上自述的单一基准结果,对照行也是同一方自训的模型,不构成第三方独立复现。
- WISE:面向视觉-语言-动作模型高效后训练的世界模型引导想象调度
对做机器人本体软件、机器人策略工程的开发者,可参考的是它的工程结构而非结论数字。第一,调度与评估只依赖策略本来就要用的两个相机视角,调度器用机器人执行信号构造弱监督、训练之后只需视觉观测即可判断哪些状态值得想象,因此可以作为旁路模块接进现有策略循环,不必额外做人工任务阶段标注,也不占用真机交互预算。第二,后训练阶段世界模型与 VLA 主干保持冻结、只更新动作头参数,意味着可以在已有 VLA 微调流水线之后追加一段后训练,而不必重训主干。第三,"想象出的画面只用于比较候选动作、被直接监督的只有真实上下文的第一个动作块"这一约束,避免合成画面直接进入策略的训练分布,这正是许多用生成模型辅助策略优化的方法容易踩的坑。算力层面,选中状态少约 80%、GPU 时间少 77% 这组数字对有 GPU 预算约束的团队最有直接参考意义。需要提醒的是:以上效率与成功率结论全部来自作者自己的仿真与真机评测,本次核查未见独立复现,方法在冻结世界模型上的实现细节也依赖作者提供的配置。
- 我看到你想要什么:从视觉遥操作历史中解码分层操作者意图
对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。
- GenieSim 3.0 数据集:开放超 10,000 小时仿真操作数据,零样本真机迁移仍为发布方自述
这份材料改变的是"仿真数据只是预热素材"这一默认做法:发布方把仿真轨迹本身当作可直接训练的数据源交付,并用遵循 LeRobot 规范的目录与文件布局降低了接入改造。对机器人本体软件与训练流水线工程师来说,近期可用的部分是数据格式、传感流构成、任务目录组织与随仓库给出的检查点,不必从零搭采集流程。但"合成数据训练的任务成功率优于真实数据训练"目前只有发布方自述支撑,页面未给出数值、任务清单和对照条件,不能当作已验证的落地效果,更不能外推到通用操作能力。
- AgenticTactileVLA:无需重训VLA的接触引导执行期监督,实现可泛化的灵巧操作
对做机器人本体软件的工程人员,这条路线的价值在于把「接触到底有没有建立」的判断从视觉挪到执行层的本体信号上:一套固定策略权重可以在新物体上复用,不必为每个物体重训策略,也不必加装触觉传感器;选择性介入还把无谓的接触修正从134次压到46次。改动集中在执行层,不动策略模型本身,是可以分层接入现有VLA栈的做法。
- AnyCamVLA:面向视觉-语言-动作模型的零样本相机适配
对做机器人本体软件和部署的团队,实用点在于把相机适配做成一个可插拔的输入模块:策略权重完全不动,装机时标定一次就能换视角,省掉重新采演示数据、再训练一轮策略的成本,也避免微调带来的遗忘。
- 为冻结的视觉-语言-动作模型学习低延迟动作验证
对做机器人本体与部署的工程师,实用点在于:不必重训策略,也不必准备专家偏好数据——监督可以直接来自策略自己的部署日志(用终止成功/失败打标签),在控制回路里只多出一次轻量打分与选择,论文测得每次策略查询的中位时间只多 5.4%。
- 进度探针 P²:面向视觉-语言-动作模型的轻量级运行时监控
对做机器人本体软件和部署的工程师,这是一个几乎零额外开销的失败检测手段:在现有 VLA 推理链路上挂一个只读内部激活的线性探针,用少量成功演示训练即可判断策略是否跑偏,无需收集失败数据,也无需再部署一个视觉语言模型来打分。
- ODEAction:把动作块预测换成动作的连续演化
对做机器人本体与控制软件的工程师,最实际的一点是:这是一个可以整体替换的动作头。视觉-语言骨干、训练数据、控制频率和视觉观测更新时刻都能沿用,只需把"一次输出一整段动作"的模块换成"每步只查一次场、再由积分生成动作"的实现;论文的全部实验用前向欧拉法积分,训练侧既不求解 ODE 也不对数值积分反向传播,所以改造工作量主要落在推理侧的每步场查询与积分,以及动作表示和低层控制接口的对齐上。 可以直接拿到运行时观测的抓手是 Boundary Jump(相邻控制指令在块边界处的突变幅度):论文按对应基座策略的块边界时刻计算它,把它当作轨迹连续性的主指标,并报告在 10 个评测单元上它与成功率提升呈强正相关(Spearman ρ=0.939)。这是作者自己数据里的同向观察,说明"把拼接处做平滑"与"成功率更高"在受控对比中同向出现,是有数据指向的改造方向,而不是本文已证明的因果关系。 收益最集中的场景是接触与容差敏感的精细操作,而不是已经接近饱和的任务:LIBERO 上基座已到 96.85%,可用空间有限;EBench 从 15.28% 提升到 24.72%、真机插勺从 25.0% 提升到 55.0%、倒水杯从 70.0% 提升到 90.0%,绝对增益都大得多。真机上末端执行器平均绝对加加速度(EE-MAJ)从 3.01 降到 1.81、边界跳变从 0.14200 降到 0.13100,说明"更平滑"与"更高成功率"这两组指标在作者实验里是同时改善的——但两者是在成功回合上各自统计的,不能互相当作因果证据。
- 一个VLA需要多少条示范?——VLA微调样本效率研究
对做本体软件和适配流程的人,最实用的结论是:选VLA基座时,除了看零样本和"用满数据微调后"的分数,还应问"给我50条示范能到什么水平"。在本文的LIBERO仿真条件下,π0.5在所有套件和所有示范预算下都更省示范、也更省训练步数;GR00T家族里更新迭代的N1.6、N1.7并不比N1.5更好适配,短程套件上用N1.5作为起点更划算(长程Long则相反)。工程上还多一个可调旋钮:如果部署环境只允许更新动作头、必须冻结视觉-语言主干,作者的实验显示GR00T几乎不受影响(最多6点),而π系列会掉23–56个百分点;此时应优先考虑GR00T。这些都是作者在LIBERO仿真、以行为克隆微调得到的结论。
- nvidia/Cosmos3-Nano-Policy-DROID:NVIDIA Cosmos 3 面向 DROID 平台的机器人策略检查点
对机器人本体软件开发者,这是一个可直接获取的动作策略权重:接口是 (T, D) 逐帧状态或控制量序列,可用“服务端推流 + 客户端执行”的方式接入仿真或真机,兼容本体与维度有明确白名单。合理用法是把它当工程试点起点——先在 RoboLab 一类的仿真环境里跑通服务端/客户端链路,再评估真机泛化,而不是当成已验证的落地能力。
- SuperMimic:用单个可微世界模型扩展人形机器人全身控制
对做本体控制栈和训练基础设施的工程师,这篇论文变动的是成本结构:策略更新不再吃仿真器吞吐,rollout 在神经动力学里完成,所以「加卡换提升」这条经验不再成立——对照里 PPO-Sim 从四卡到八卡几乎无增益,而 SuperMimic 单卡 1.2 小时就达到目标回报 0.82;作者报告的对照基线 SONIC 需要 128 张 GPU 跑约 168 小时、约 21,000 GPU 小时。训练栈上要接的东西相对明确:从仿真器记录的转移拟合一个共享的可微世界模型,与策略交替更新;仿真器本身不需要可微,现有的刚体仿真器可以原样保留,这一点对已有 MuJoCo 系仿真管线的团队尤其重要,因为接触不光滑的刚体仿真本来就难做梯度。部署侧的证据是作者自己的真机演示(Unitree G1,一个通用跟踪器、不做逐动作调参,覆盖移动、接触丰富动作和杂技动作),属于论文报告的落地结果,不是厂商声明,但目前只到定性演示层面,没有实机的量化指标。另一条对写控制栈的人有用的经验是价值网络(critic,用于估计想象视野之外的回报)的作用:作者报告带 critic 时可以在更短的想象视野下训练,而且仿真推扰下带 critic 的策略能站稳、不带 critic 的会持续踉跄并在更高推扰速度下摔倒——不过这只是仿真证据,作者没有给出实机推扰的量化对比。
- 学习面向通用灵巧操作的异构触觉表征(LingBot-Touch,arXiv:2611.12806v1)
对机器人本体与策略软件工程师:触觉编码器可以作为一个冻结的外挂模块插进后训练阶段,把传感器型号差异留在编码器内部,策略侧只需把触觉 token 当作额外条件输入,不必为每款传感器重训策略。作者报告的参数增幅远低于原策略的百分之五分之一,因此主要代价在接口改造而非重训策略。数据侧,作者把操作者佩戴触觉手套的录制与遥操作机器人手的录制放在同一套语料里训练,跨传感器迁移是这项工作的明确设计目标(属于作者主张,尚无独立复现)。落地前需注意:论文只在 Sharpa Wave 与 XHand1 两种手型、指尖区域上验证;电容式传感器未进入预训练,手掌与手指其他部位的接触表征不足;编码器层面的通用对照只有 FTP-1 一项,且作者为它单独训练了传感器适配器。跨型号复现前,建议在自己的手型与传感器上先做小规模验证。
- 真实与仿真数据的 VLA 适配:机器人国际象棋案例研究
对机器人本体软件工程师,这篇论文给出几条可直接照做的判断:挑检查点只能看闭环成功率,验证损失和开环动作误差在这里会选错;比较检查点前必须做一次短的学习率冷却,否则差距可达 31 个百分点;真机演示不足时先用仿真演示预训练,128 条真实演示的量级上仍有明显收益;用策略自身轨迹继续训练这条路,在这篇论文的设置里没测出优于纯行为克隆的收益,可先暂缓投入。
- 规划器会利用确定性误差:抖动式低比特世界模型
给做机器人推理部署与本体软件的人一个不改模型、不需训练的低比特世界模型配方:把激活量化从固定就近取整换成"每轮重抽、候选间共享"的抖动,让采样规划器在迭代中追不到系统性误差。在作者实测中(共享抖动对 rollout 的额外延迟最多约 2.3%),Meta-World 上大部分量化掉点被挽回;但这是单篇预印本的作者自测结果,尚未见独立复现。
- ScanDreamer:面向四旋翼导航的地图接地世界模型
对做飞行策略的工程师,实用点是:把机器人本来就有的位姿、历史观测和传感器朝向显式写成一张占据图,让进度奖励和“想象”都挂在地图上,而不是指望网络在隐状态里自己记住;同等交互预算下成功率更高、碰撞更少,训练所需数据量也更低。
- 用检索到的引导做零样本 VLA 适配:RAGu 冻结模型权重,把跨域演示变成轨迹约束
对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。
- ReSkill:面向机器人操作的选择性自我改进
对机器人本体软件开发者,这套流程的价值在于把"改进"变成可审计的代码改动:失败被定位到具体节点和原因,候选改动经完整任务评估与配对比较后才被冻结,运行期零外部模型调用;验证过的技能和任务图留在库里供下一个任务复用——后加入任务中 39% 的任务专属函数直接沿用已有实现。
- HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人
给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。
- LeRobot 发布 Cosmos3-Edge 的 LIBERO-10 微调策略权重:500 回合闭环成功率 95.2%
对机器人本体软件程序员,这是一份可以直接 `--policy.path=lerobot/Cosmos3-Edge-Policy-LIBERO_10` 加载的策略:模型卡给出了依赖版本、评测命令和完整的评测设置表,可以在本地复现一条 LIBERO 操作基线,再决定是替换数据集还是换任务继续做适配。"动作块+未来视频"联合输出的形态也说明这类策略内部带有世界模型成分,而不是只输出动作;推理时需显式传 `--policy.dtype=bfloat16`,因为模型卡把 `config.json` 的 dtype 故意设为 float32 用于微调。
- LLM 能靠直接改权重来调试机器人吗?(只改 65 行 token 嵌入的仿真结果)
对做机器人本体软件和策略调试的工程师,最直接的用处是换了一条排查路线:遇到“策略听懂了词却做错任务”这类故障,可以先查是不是词的问题,再考虑重采数据或重训——论文的做法是不做梯度更新、不新增演示数据,只改 token 嵌入里的 65 行。但它不等于通用调试能力:只在仿真里成立、只对改写指令有效;而且对照实验显示,整行替换这种更简单的做法已经能解释大部分增益。对做指令改写和评测的团队,另一个提醒是“指令字符串格式本身就能大幅改变分数”:同一条任务描述附不附场景元数据,可能让 FastWAM 的成功率从 70.0% 掉到 48.6%,所以评测时应写清指令是怎么拼出来的,而不要把它当作无关紧要的字符串。以上均为作者论文自报结果,本次材料中未见独立第三方复现。
- WorldBridge:桥接视频与动作,实现世界动作模型的任务泛化
对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。
- PrimeSim:可当机器人仿真器运行的动作条件多视角世界模型,Hugging Face 开放权重与训练/推理代码
对机器人本体软件程序员最直接的好处是:不必先搭建物理仿真环境,就能按自身动作预测多视角画面变化,可在接入真机前先看动作后果;仓库同时提供训练与推理代码,微调可从中途训练权重起步,推理用第 4 阶段少步权重。其定位是生成式仿真替代方案,模型卡未给出物理精度,也没有仿真到真实(Sim2Real)的验证数据,模型卡所述基准成绩属厂商自述而非已验证的落地效果。
- DexHOT:把灵巧操作的目标从物体位姿换成手-物构型迁移
对做灵巧手控制与本体软件的工程师,最值得借鉴的是目标接口:把"目标"从物体位姿扩展为手-物关系(论文用一个杯子的例子说明只指定物体状态是不够的)。实现上,上层由贪心规划或一次人类演示给出构型子目标,子目标以 1 Hz 更新;下层一个冻结策略在 30 Hz 上闭环跟踪,负责中间手部动作、手指步态和换握,物体运动与最终手部摆放都能被显式指定。上游来源(规划或演示)与底层控制实现分开,换上游来源时不必重写底层控制。文中所有成功率均为作者在自建基准与自测协议下的自评,尚未见独立复现。
- 修复(模型):阻止批处理填充改变预测动作
对做机器人本体软件的工程师,这是一个直接影响部署确定性的坑:批量推理时同一条观测的输出不应依赖同批次的其他样本。GR00T 的做法是把这一行为变成两个显式开关,并写清与 TensorRT 导出/服务路径的冲突,避免把批次组成变成难以复现的隐藏变量。以上行为与代价均以 NVIDIA README 的记载为准,属厂商工程说明而非独立复现结论。
- lerobot/Cosmos3-Nano-Policy-LIBERO_10:LeRobot 公开 Cosmos3-Nano 的 LIBERO-10 微调权重与评测复算配置
这次改变的是交付形态而不是指标本身:权重、复算命令、依赖版本和采样口径都写全了,做本体软件的工程师可以在单张 A800-SXM4-80GB 上按同样口径核对数字;加载时用 `--policy.path` 指定该仓库即可一并拿到配置、权重和处理器(推理与评测要传 `--policy.dtype=bfloat16`)。但证据范围只有 LIBERO-10 这一个仿真套件,能支撑的判断是「这套配置下能否跑通并复现」,不能当成通用操作能力的结论。
- 当视觉压过语言:评估并缓解 VLA(视觉-语言-动作模型)的反事实失败
对做机器人本体软件与部署的工程师,这篇把“模型到底有没有在听指令”变成一个可测项,并给出不改基座结构与预训练权重、只在推理期生效的补偿手段;代价是每次多一条推理分支,以及 VA 版本需要额外训练一个只看图像的模型。
- 在 VLA 中桥接表征与动作空间,实现人机迁移(H2RB)
对机器人本体软件开发者,用处很直接:目标机器人数据不够时,可先用人手视频补充新物体和新技能的监督,而不必强行让人与机器人的动作参数一一对齐;代价是训练管线里要加一套按本体分支的动作隐变量分词器和一路几何回归头。论文给出的量级说明,这类混合训练确实能补上源机器人数据里没有的行为。
- DynaFLIP:通过三模态动力学引导的表征重新思考机器人感知
对机器人本体软件工程师,这提供了一条"换视觉骨干"的路径:编码器在下游冻结、或只训练一个轻量注入模块即可复用,不必改动策略结构;预训练只需 RGB 视频,不需要机器人动作标注。作者更大的主张是:机器人泛化部分是一个感知问题,视觉表征应编码动力学与控制相关信息,而不只是视觉显著性。
- HeLM:面向非马尔可夫操作的分层显式语言记忆
对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。
- 基于能量的策略编排(Energy-Based Policy Orchestration)
对机器人本体软件工程师,EPO 可作为高层规划与已有低层控制器之间的一层运行时适配:不改低层策略,只在运行时按状态挑策略并微调下发的低层目标;新增技能时只需为该策略补一个能量模型(约 30 GPU 分钟),而不是重训策略或维护一个需要随策略库变更重训的集中式调度器。它更适合已经训出多个互补控制器(精度型、鲁棒型、站立型)、但缺少统一取舍机制的团队。
- Spotter:让具身模型主导执行,让视觉语言模型为它复盘纠错
对机器人本体软件工程师,最有用的是把"发现错误"和"修好错误"分开评估:即使预言机已定位失败点,策略三次重试仍有九成修不好,失败后打分器也挑不出正确候选,所以只在策略内部加重试或采样打分指望不上,单纯把步数预算放大到 1.8 倍也只带来 1.2 和 1.8 个点。纠错逻辑可以整体放在策略之外:本地轻量筛查器负责召回,通用模型只裁决可疑片段、用可枚举的运动基元修复,再用一个"预期校验"窗口确认是否真修好;延迟代价也小——成功的 Qwen 回合只比裸策略多 13–16 秒。
- NVIDIA Cosmos3-Nano-Sim-Auto:用 Cosmos 做面向物理 AI 的交互式世界仿真
对自动驾驶与机器人软件开发者,这次的关键变化是闭环输入直接来自策略自身的规划轨迹,且相机与激光雷达是联合生成的(官方称用于支撑空间与时间一致性),因此多传感器感知栈与驾驶策略能在同一次 rollout(一次连续生成)里一起评估,而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU,模型卡未提及嵌入式或车端部署,因此按现有公开信息,它更适合放在数据中心侧跑仿真生成数据,而不是直接装进机器人本体。
- 提问以演进:EvoLife 面向终身具身导航的统一框架——混合动作空间与持久记忆
对做机器人本体软件的工程师,可迁移之处在接口组织方式:把移动、求助、记忆做成同一决策循环里的可调用动作,把"地点记录"当作可持久化的数据对象跨任务保留并可修订,而不是每个任务从零开始。其消融量级可作参考——在 R2R 上交互把 SR 从 86% 拉到 100%,记忆回访再把 SPL 从 82.2% 提到 93.3%。这些均为作者论文自报结果,本次材料未包含独立复现。
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。
- 一次扫描就够:语言引导导航的无示范适配与真机验证
对机器人本体软件开发者,最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据,换成一次扫描加一次人工标定:同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路,而不是他们的模型或数字;换用自家策略与本体仍需自行复现,本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
- Cosmos-H-Dreams:英伟达面向外科机器人的实时动作条件世界模型(模型卡已指向更新版本)
对接机器人本体或策略软件时,接口是明确的:给一帧上下文图像加一条 44 维动作流,服务每 12 个动作步回传 12 帧画面;人可以拿键盘或 Meta Quest 头显手动驱动,也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库,对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述,落地前仍需在自己的场景、动作空间和硬件上实测。
- WorldFailBench:世界模型理解策略失败了吗?
给策略评估与部署工程的用处很直接:想在真机回归测试之前用世界模型筛策略,可以先用这三类任务检查"生成的失败诊断是否可信",把"成功率一致"和"失败诊断一致"分成两件事。论文给出的证据是七个世界模型在失败类型、失败阶段、失败边界三关上都明显落后于参考环境重复跑的水平,所以生成轨迹里的失败分布不能直接当作策略短板的证据;作者也指出,这类预测在用于指导进一步测试前仍需在参考环境中复核。代码与数据集由作者公开(GitHub 仓库与 Hugging Face 数据集),可自行复跑;但本次材料只有该 arXiv v1 预印本本身,结论应视为作者自述结果。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- FlowVLA:学习流动感知的物理完成状态,用于机器人定量倾倒
对控制软件开发的启示是:可将“怎么动”与“倒够没有”分开建模,并把回正后仍会流出的液体计入停止条件;这是作者实验支持的设计思路,不是通用部署能力证明。
- 超越外观变化:为 VLA 模型做任务语义动作校准(Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models)
对做机器人本体软件的开发者,可借鉴的是接入方式而不是网络结构:校准层作为可插拔组件挂在共享 VLA 的动作输出上,骨干权重不动,训练侧额外准备“保义改写”和“语义破坏改写”两类指令对即可,推理侧默认路径的代价是 p50 增加 47–53 ms。作者主张的工程逻辑是:目标或约束真变时,先让策略“不再按旧任务继续跑”,再谈改对,这比笼统追求鲁棒性更贴近部署中“指令换目标”这类变更。保义支路则把“什么时候才允许改动基础动作”写成显式证据门控,可用于设计回退与监控策略;但它需要再查一次冻结策略,端到端延迟接近 1 秒,按其量级更适合作低频或早期修正,不宜放进高频控制回路。文中全部数字来自作者自测的仿真与真机试验,本次材料未见独立复现。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- SimPT:用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者,价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程;真机验证的是由此开发的训练改进,而非自动恢复机制直接部署到真机。
- NVIDIA 上线 Cosmos3-Nano 的 LIBERO-10 动作策略单元 D2_s43(训练种子 43):标准场景 93.3%,扰动场景 85.5%
这次变更是把“用生成模型改写演示数据”的收益评估,做成了可下载、可对照的公开权重:机器人本体软件工程师可直接加载这条 LIBERO-10(10 任务的操作基准)策略,在同一批初始状态上比较标准与扰动场景的成功率,并按模型卡要求配上重复样本对照,判断自己的数据流程里是否值得引入合成数据。复现成本也被写明:数据不随权重分发。该权重作为 nvidia/Cosmos3-Nano 的衍生物,按 NVIDIA 开放模型许可证发布。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- Thinker-WM:面向具身智能、具有共享多模态表征的统一世界模型
为机器人软件开发提供一种统一预测与动作生成的模型接口设计,并用受控实验检验动作输入和深度交互是否发挥作用。
- GRAIL:从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线;作者将其定位为遥操作和动作捕捉的补充,而非替代。
- 弗雷歇强制:用短片段训练长时域流式世界模型
对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。
- ICAT:基于事故案例的具身世界模型物理风险预测自适应测试
对将生成视频接入机器人规划或策略学习的团队,ICAT提供了分开检查“场景是否保留、动作是否完成、危险后果是否出现”的诊断思路,而非只凭视频看起来合理判断可靠性。论文未测量遗漏后果对下游决策的实际影响。
- StopWatch:面向物体目标导航的目标锚定
为导航软件提供可检查的感知—策略接口:先定位“没认出目标”还是“决策没停下”,并可在不重训策略的情况下改进感知。
- OxyGen:多任务并行下视觉—语言—动作模型推理的统一键值缓存管理
对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。
- LIBERO-PeRM:个性化机器人操作基准评测
该基准为区分“做成任务”与“按偏好执行”提供受控评测条件,有助于定位个性化操作的失败模式,而非仅依据任务成功率判断能力。
- T2-z:面向机器人世界模型的环境潜变量测试时优化
提供了一条冻结世界模型、仅优化环境表示的测试时适配路线,使交互证据可用于执行前比较候选动作结果,无需预定义物理因素监督或独立环境编码器。
- Spark-0:面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督,而不只是部署时的额外输入;无触觉部署的 Ego Humanoid 结果是关键证据。
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- RMBench:依赖记忆的机器人操作基准及其对策略设计的启示
这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。
- 机器人策略应该学习预测什么?重新思考视觉—语言—动作学习中的监督目标
将“预测什么”与“如何分配监督”变为可控的训练设计变量;同源对照有助于区分路由分配的影响与目标表征、辅助专家差异。
- FineART:双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐,为子任务预测与低层动作执行相结合的训练提供数据基础;这是发布方描述的训练用途,不等于已经证明通用能力提升。
- LoopWAM:利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。
- MAIA:通过多模态世界模型预判接触密集型操作中的交互异常
这项工作展示了世界模型的一种用途:预测计划动作的物理后果,为执行前的候选动作筛选提供依据,而不只在异常出现后报警。
- 超越单轴测试:视觉—语言—动作策略复合鲁棒性的配对评估
为鲁棒性评测提供更细的诊断方式:在已有配对单轴测试上增加一个匹配的同时扰动条件,揭示总体成功率可能掩盖的双向结果变化。
- 面向自适应 VLA 动作块执行的策略对齐预测验证
将未来预测用于判断已有动作提案可以执行多远,而不是生成新动作,为既有 VLA 的执行长度选择提供另一条路径。
- Fast-VLA:机器人操作只需思考一次
论文提供了一种推理优化路径:固定任务上下文不等于开环执行,在线执行器仍利用实时视觉与本体感觉反馈更新动作。
- 重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号,而非强制的推理期文本前缀;其价值取决于监督是否可靠、是否与动作学习有效耦合。
- VLA 真的遵循指令吗?诊断视觉—语言—动作模型对“如何执行”指令的遵循能力
研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。
- KODA:面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
- 世界建模与动作建模能否在统一因果训练下相互受益?
作者的受控比较支持:在所测因果架构与任务中,显式学习动作的视觉后果与学习生成动作可提供互补监督,而不只是单向利用视频预测辅助策略。
- EgoJEPA:超越重定向,从第一视角视频学习灵巧操作
提供了一条以共享潜在动作连接人类视频预训练与机器人控制的路线;作者实验支持其在所测本体间复用预训练、降低重复适配开销的价值。
- TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取
该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。
- 多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
- 用含失败轨迹微调 Boundless 世界模型:RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体:世界模型(world model,即根据动作生成后续画面的模型)产出的视频一旦把失败画成成功,就不能拿来判断这一把有没有抓住;这份检查点显示,把失败轨迹喂回世界模型能明显压低这种「假成功」(留出片段上失败误读率由 0.825 降到 0.263,成功召回 0.964)。权重与基座同结构(同一 DiT 扩散变换器与动作编码器状态字典,仅推理权重),可直接替换 `step-12000.safetensors`,接入已有推理管线改动很小。接入时照卡片的推理契约即可:每窗 61 帧(1 初始帧 + 8 历史帧 + 52 未来帧),`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`,动作取 BWM 的 `eef_abs` 空间;卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用,需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
- PINT:以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师,可直接借鉴的是接口层面的三点:把跨模块共享信息压成一段紧凑的意图表示;只替换视频生成模型的条件入口、保留其预训练生成机制;以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向,使延迟与同规模 Fast-WAM 接近(331 毫秒对 266 毫秒),本体实时性压力可控。
- 成功但不安全:揭示视觉与语言导航中碰撞的分析性基准
该工作为导航评测补充了“成功是否无碰撞”的维度,也说明报告成绩时应交代碰撞处理机制,不能只凭任务成功率判断安全性。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
- PILOT:利用视觉子目标与策略先验引导机器人操作的长时程世界模型规划
作者实验支持将任务阶段引导与局部动作搜索分工:视觉子目标帮助短预测时域规划推进任务,策略先验进一步改善搜索效率。
- 无需更新策略的基于流的策略适配
提供一种把任务理解留给底层智能体、以目标无关专家先验选择性修正执行动作的适配路径。
- 像世界模型一样思考,像VLA一样行动:将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。
- TaskAnchor:为长时程操作中的反应式VLA锚定任务状态
作者实验支持将历史证据与显式阶段条件结合,用于改善预训练VLA的历史依赖动作选择,而非另设规划循环。
- Reflex:视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径,价值在于解耦视觉学习与全身控制,而非证明通用人形技能。
- 模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持,也表明ModAR在受测任务中可利用无动作人类示范改善表现;不据此推断通用操作能力。
- ARC:面向机器人基础模型的推理配方
对机器人本体软件工程师,这是一条不靠堆数据的改造路径:不重新采数据、不重训基础模型,用自动生成的因果轨迹改造已有策略,改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
- 具身图灵机:用于机器人递归自我改进的有状态代码
这项作者研究将策略改进落实为显式状态、可检查代码与离线验证的迭代,为机器人递归自我改进提供了一条软件化研究路线。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- EagleVLA:通过前瞻对齐的异步推理迈向机载实时机器人控制
将动作条件的未来表征预测与置信度调度结合,为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
- 长时程技能衔接处观测空间偏移的诊断与恢复
该研究支持在特定技能衔接故障中,先恢复阻塞场景、再继续执行,而非仅增加重试;证据用于支持故障诊断,不代表通用恢复能力。
- Long-WAM:扩展世界—动作模型的上下文
作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。
- 成功的多种路径:面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标,为改善所测分布偏移下的VLA泛化提供了一种训练思路;这里呈现的是作者实验结果,而非独立研究复现。
- StressDream:引导视频世界模型,用于鲁棒策略评估与改进
该研究展示了用引导生成筛查候选轨迹失败风险、并以悲观生成辅助示范重加权的路径;证据限于作者所评估的设置,不外推为通用策略能力。
- 世界模型的物理终极考试
将视觉连贯、任务可观测性与可测物理关系分开,为诊断视频模型的物理不一致提供可解释依据,而非通用具身能力认证。
- 多少规划才足够?减少世界模型规划中的搜索与计算
将“结果足够好”的预算校准与单次求解内的计算复用分开,为既有世界模型规划器提供部署侧优化路径,而非改进模型本身。
- H-JEPA:面向视觉规划的分层世界模型端到端学习
这项作者研究提示,层级结构可能通过时间分解及高层目标距离表征两条途径帮助规划;不能将收益仅归于其中一种机制。
- 条件轨迹峰:面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
- FLEX-WAM:面向长时程想象与规划的灵活块因果世界—动作模型
该作者论文展示了由同一模型提供动作提案与想象结果的规划路径,并将动作响应性作为联合训练中需要主动维护的能力。
- DiVeR:面向VLA测试时扩展的决策关键性验证器学习
该作者论文提示,VLA测试时扩展不仅取决于增加候选数量,也取决于让验证器重点学习动作差异真正影响结果的状态。
- 通过基于采样的扰动观测器应对仿真到现实的失配:从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口,针对局部持续、与任务相关的失配进行修正,而非完整辨识仿真到现实差距。
- 测试时训练作为机器人策略的残差记忆
这项作者研究支持一种互补记忆设计:快权重重点学习已有上下文解释不了的历史,而非简单叠加两种记忆机制。
- TimelyDAgger:用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
- 重新思考用于组合式与上下文机器人操作的世界—动作模型
作者实验支持将视觉子目标作为任务规划与动作生成之间的显式接口,并用目标图像在推理时引导已学行为的重新组合。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- SteerQuant:在世界—动作模型中通过动作引导缩放调控量化误差
作者结果支持以最终动作影响指导量化误差分配,并用融合内核减少缩放开销,为世界—动作模型的低位宽推理提供一种方法。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
- RawVLA:面向机器人操作的具身神经图像信号处理器
该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。
- SCOUT:通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。
- SAKI:面向长时程移动操作的人类视频技能组装与运动学模仿
作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。
- 通过流匹配中的条件退火重新思考因果动作词元化
该工作将动作词元的生成阶段结构与自回归预测目标对齐,为动作离散化提供了不只追求压缩与重建的设计方向。
- 修订,而非重启:面向闭环世界—动作模型的可修订视觉计划
研究将反馈后的视觉计划修订连接到闭环控制。作者的损失消融提示,视觉预测误差降低不必然带来任务成功率提高。
- 利用视觉—语言—动作模型学习在视觉中断下行动
将摄像头完全停止供帧与可用图像的内容扰动区分开,并把预测失效后的缺失输入控制作为回退路径,为研究视觉断流下的闭环可靠性提供评测与方法设计。
- 时间强制:面向视觉—语言—动作模型的四维表征对齐
这项工作支持将“提供历史输入”与“监督历史保留什么”区分开来,为历史感知VLA提供了训练期表征监督路径,而非仅扩展输入历史。
- 自然状态预测的准确性可能掩盖VLA读出器在受控条件下的响应不足
研究支持联合评估自然准确性、受控响应和情境稳定性,而不把状态可解码直接等同于忠实响应或任务成功。
- STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范
该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。
- 机器人学习中的潜在动作,什么最重要?
为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。
- 生成、跟踪、改进:利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明,生成器微调可调整技能选择与地形一致性,是跟踪器微调之外的补充改进环节;不据此推断通用运动能力。
- Causeway:恢复VLA策略在指令切换中的任务可达性
该工作展示了通过推理时干预恢复既有任务能力可达性的路径,而非让VLA学会新任务。
- InfiNoVA:面向视角不变机器人策略的无限新视角增强
提供了一条不改策略架构、通过保持状态—动作对应关系的几何视角增强改善相机鲁棒性的数据路线。
- VLAQuantBench:视觉—语言—动作模型训练后量化的闭环评测
研究支持将层范围、数值格式与校准配方联合做闭环验证,而非套用通用层敏感性规则。作者报告开放评测代码、配置、层范围定义和回合记录,为后续比较提供工程基础。
- CARE:面向视觉—语言—动作策略的经验引导原子纠正执行
将“从哪些失败中学习”与“何时调用纠正动作”分开设计,为VLA失败恢复提供了可分别检验的数据与执行机制。
- CompVLA:面向接触密集操作的可变柔顺视觉—语言—动作模型
将方向性柔顺与主动施力纳入VLA输出,为连接多模态策略和底层接触控制提供了一条具体路线。
- 从预训练到熟练掌握:以最少人工干预开展面向长时程操作的真实世界子任务强化学习
提供一种保留基础策略、用局部奖励集中修补失败环节的适配路径;改进仍以完整任务执行评估,而非只看孤立子任务。
- 打破视觉—动作捷径:面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。
- CAP:通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径,而非依靠想象轨迹优化策略。
- ICI-VLA:面向视觉—语言—动作模型、利用时空对齐示范的上下文模仿
作者实验支持将时空对齐示范作为固定策略的测试时适配输入;消融中,移除掩码、DTW或语义筛选均降低成功率。
- 更好的想象推演意味着更好的机器人控制吗?反馈条件下世界模型评估的受控研究
为反馈系统中的预测模型评测提供方法学提醒:离线协议应尽量匹配部署时的感知、状态校正与控制更新结构,不能只看无观测推演误差。
- TrAct:以视觉轨迹连接机器人控制与视觉预测
作者实验支持将视觉轨迹作为策略与世界模型的共享接口,为通过未来画面评价候选动作提供了一条技术路径。
- 以潜在动作为意图,使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
关联报告
来源与阅读
- RLinf-VLA v3 · §V · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- WALL-WM v2 · §7 / §9.5 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- G0.5 v1 · §3 / §5 / §6 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
