它是什么,解决什么问题
本主题覆盖新任务、新场景、新本体、动作头、策略组合。它属于“训练、适配与算力部署”,用于理解这一组能力、方法或产业对象的边界。
范围与比较维度
- 新任务
- 新场景
- 新本体
- 动作头
- 策略组合
需要持续回答
- 把训练与推理条件写清楚,同时观察任务成功、延迟、显存、功耗、成本和版本可维护性。
当前知识边界
本页为范围入口,代表路线与证据尚待补充。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 论智能体式操作策略(On Agentic Manipulation Policies)
给机器人本体软件工程师,有三件事可以直接用。 第一,动作原语可以不给。AMP1 的外壳只提供感知与运动接口以及错误恢复,抓取、推送、放置由模型在每个回合现场写成代码;同一套外壳因此能覆盖单臂、双臂和移动操作,也不需要示教数据或任务特定训练。这把“能力不够就往技能库里加动作”的思路,换成“外壳保持稳定、强度交给模型”。 第二,外壳接口的容错约定直接计入结果。启用 RfE(错误恢复)时真机是 104/108,去掉该接口后是 94/108;而辅助抓取/放置例程对不同模型的作用方向相反——最强的四个模型加了辅助外壳反而更差(最多掉 7.5 分),最弱的六个模型反而更好(最多涨 17.6 分),中间的模型没有收益。做本体软件的人需要自己划定接口边界、错误恢复与辅助例程的取舍,而不是默认“多给点能力总没错”。 第三,记忆库是低成本的能力增量。模型权重不动、不做梯度更新,只记录观察、策略和代码,RoboDojo 双臂任务上未见布局的成功率就从 26.4% 提到 84.1%,单遍顺序连续学习到 57.6%,并且能迁移到还没尝试过的任务而不抹掉已有收益。 需要保留的判断:这些数字目前只有作者自评的预印本支撑,没有独立复现;对照的 VLA、WAM 成绩取自公开榜单条目,不是作者在同一环境下统一复测,而且当时榜单上最强的条目本身也是智能体(SenseNova-RoboRSI,57.1%),最强学习策略 Lakeside 为 51.0%。另外作者自己指出,LIBERO-Goal 上失败的回合几乎都是智能体自认为已经成功,人工复核认为它对指令的理解与人类一致、却与基准校验器不一致——基准分数与实际可用性之间仍有一段距离。
- Homeward:没有哪个视角比训练时的视角更好
对做机器人本体软件的工程师,这是一条不动模型权重的兜底路径:现场相机被挪动、重装或换镜头后,只要备好机器人运动学模型、一张训练视角参考图和一次性的训练相机标定,就能在不改动冻结策略的前提下把画面拉回策略熟悉的视角,保住闭环成功率。相机参数与场景深度由现成的单目 3D 基础模型在运行时估计,部署相机本身不需要标定,也不需要任何场景微调数据。代价是每次策略查询约 0.21 秒的额外开销(作者说明这是由还原与冻结两种闭环回合的墙钟时间差间接推得,而非直接测量的还原延迟),对 8 步动作块(一次决策输出多步动作)的策略摊到每个控制步约 27 毫秒。系统还有一层兜底:首次查询(t=0)的相机估计若满足旋转小于 0.5°、平移小于场景中位深度的 1%、焦距变化小于 10%,整回合直接透传未经还原的原始帧。
- 原地卡住:JEPA 规划器的停滞诊断与补救方法
对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。
- TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
- ActionUNet:冻结 VLA 主干、只改动作头的多尺度微调模块,提升杂乱场景下的鲁棒性
对机器人本体软件开发者来说,这篇给的是一份“主干不动、只换动作头”的改造点清单: - 插在哪:预训练主干冻结、只训动作专家,沿用基座原有训练目标,回归式与流匹配式策略都能接,感知与语言侧不用动。 - 改哪里:在“时间对齐的动作特征”上做 U-Net 式多尺度融合,而不是在图像或语言语义层做多尺度,因此不必为不同基座重做感知/语言结构。 - 怎么出动作:把动作块当作连续时间上的轨迹建模,条件 SIREN 出局部场、Matérn 核做加权聚合,二阶平滑约束用于压抖动、保时间连续。 - 部署侧的账:策略级单次调用 60.947 ms(±0.251 ms)→ 64.886 ms(±0.376 ms)。这是纯策略计算口径,论文明确提醒不能当作端到端机器人执行延迟——机械运动、低层控制器约束、安全限速、夹爪动作和接触交互都要另算。 - 选型提示:消融显示补上 Matérn 核后四个任务为 easy 77.8%、hard 46.5%,两段结构需配合使用。
- 美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统
对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。
- TEMPO:面向视觉-语言-动作模型的语义-动作解耦强化学习后训练
对做 VLA 在线后训练的工程师,可借鉴的是一种模块级 RL 拆法:把语义接口和动作专家分到各自的 TD3 循环,用更新频率差去对齐两者不同的适应需求(语义侧慢、动作侧快),同时冻结主干以保住预训练的语义知识。落地前提是模型结构里要有一个可冻结的视觉语言主干,以及一个能与动作专家分开优化的条件接口——作者在 FLOWER 之外把同一方法用到了 VLA-Adapter-Pro(用其原生的分层 key/value 投影充当语义投影模块),SR5 从 77.23% 提到 79.17%,平均连续完成长度从 4.437 提到 4.487。工程代价是两条循环各要维护一套回放缓冲区、评论家等组件。频率设置上,5:1、10:1 相对预训练策略分别高 3.9 与 3.4 个点,而等频 1:1 反而略低,说明收益来自两个模块都参与更新、且两者更新频率存在差别。以上均为作者论文自报,未见独立复现材料。
- WISE:面向视觉-语言-动作模型高效后训练的世界模型引导想象调度
对做机器人本体软件、机器人策略工程的开发者,可参考的是它的工程结构而非结论数字。第一,调度与评估只依赖策略本来就要用的两个相机视角,调度器用机器人执行信号构造弱监督、训练之后只需视觉观测即可判断哪些状态值得想象,因此可以作为旁路模块接进现有策略循环,不必额外做人工任务阶段标注,也不占用真机交互预算。第二,后训练阶段世界模型与 VLA 主干保持冻结、只更新动作头参数,意味着可以在已有 VLA 微调流水线之后追加一段后训练,而不必重训主干。第三,"想象出的画面只用于比较候选动作、被直接监督的只有真实上下文的第一个动作块"这一约束,避免合成画面直接进入策略的训练分布,这正是许多用生成模型辅助策略优化的方法容易踩的坑。算力层面,选中状态少约 80%、GPU 时间少 77% 这组数字对有 GPU 预算约束的团队最有直接参考意义。需要提醒的是:以上效率与成功率结论全部来自作者自己的仿真与真机评测,本次核查未见独立复现,方法在冻结世界模型上的实现细节也依赖作者提供的配置。
展开其余 29 条历史观察
- AgenticTactileVLA:无需重训VLA的接触引导执行期监督,实现可泛化的灵巧操作
对做机器人本体软件的工程人员,这条路线的价值在于把「接触到底有没有建立」的判断从视觉挪到执行层的本体信号上:一套固定策略权重可以在新物体上复用,不必为每个物体重训策略,也不必加装触觉传感器;选择性介入还把无谓的接触修正从134次压到46次。改动集中在执行层,不动策略模型本身,是可以分层接入现有VLA栈的做法。
- AnyCamVLA:面向视觉-语言-动作模型的零样本相机适配
对做机器人本体软件和部署的团队,实用点在于把相机适配做成一个可插拔的输入模块:策略权重完全不动,装机时标定一次就能换视角,省掉重新采演示数据、再训练一轮策略的成本,也避免微调带来的遗忘。
- 一个VLA需要多少条示范?——VLA微调样本效率研究
对做本体软件和适配流程的人,最实用的结论是:选VLA基座时,除了看零样本和"用满数据微调后"的分数,还应问"给我50条示范能到什么水平"。在本文的LIBERO仿真条件下,π0.5在所有套件和所有示范预算下都更省示范、也更省训练步数;GR00T家族里更新迭代的N1.6、N1.7并不比N1.5更好适配,短程套件上用N1.5作为起点更划算(长程Long则相反)。工程上还多一个可调旋钮:如果部署环境只允许更新动作头、必须冻结视觉-语言主干,作者的实验显示GR00T几乎不受影响(最多6点),而π系列会掉23–56个百分点;此时应优先考虑GR00T。这些都是作者在LIBERO仿真、以行为克隆微调得到的结论。
- 真实与仿真数据的 VLA 适配:机器人国际象棋案例研究
对机器人本体软件工程师,这篇论文给出几条可直接照做的判断:挑检查点只能看闭环成功率,验证损失和开环动作误差在这里会选错;比较检查点前必须做一次短的学习率冷却,否则差距可达 31 个百分点;真机演示不足时先用仿真演示预训练,128 条真实演示的量级上仍有明显收益;用策略自身轨迹继续训练这条路,在这篇论文的设置里没测出优于纯行为克隆的收益,可先暂缓投入。
- 用检索到的引导做零样本 VLA 适配:RAGu 冻结模型权重,把跨域演示变成轨迹约束
对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。
- ReSkill:面向机器人操作的选择性自我改进
对机器人本体软件开发者,这套流程的价值在于把"改进"变成可审计的代码改动:失败被定位到具体节点和原因,候选改动经完整任务评估与配对比较后才被冻结,运行期零外部模型调用;验证过的技能和任务图留在库里供下一个任务复用——后加入任务中 39% 的任务专属函数直接沿用已有实现。
- LLM 能靠直接改权重来调试机器人吗?(只改 65 行 token 嵌入的仿真结果)
对做机器人本体软件和策略调试的工程师,最直接的用处是换了一条排查路线:遇到“策略听懂了词却做错任务”这类故障,可以先查是不是词的问题,再考虑重采数据或重训——论文的做法是不做梯度更新、不新增演示数据,只改 token 嵌入里的 65 行。但它不等于通用调试能力:只在仿真里成立、只对改写指令有效;而且对照实验显示,整行替换这种更简单的做法已经能解释大部分增益。对做指令改写和评测的团队,另一个提醒是“指令字符串格式本身就能大幅改变分数”:同一条任务描述附不附场景元数据,可能让 FastWAM 的成功率从 70.0% 掉到 48.6%,所以评测时应写清指令是怎么拼出来的,而不要把它当作无关紧要的字符串。以上均为作者论文自报结果,本次材料中未见独立第三方复现。
- lerobot/Cosmos3-Nano-Policy-LIBERO_10:LeRobot 公开 Cosmos3-Nano 的 LIBERO-10 微调权重与评测复算配置
这次改变的是交付形态而不是指标本身:权重、复算命令、依赖版本和采样口径都写全了,做本体软件的工程师可以在单张 A800-SXM4-80GB 上按同样口径核对数字;加载时用 `--policy.path` 指定该仓库即可一并拿到配置、权重和处理器(推理与评测要传 `--policy.dtype=bfloat16`)。但证据范围只有 LIBERO-10 这一个仿真套件,能支撑的判断是「这套配置下能否跑通并复现」,不能当成通用操作能力的结论。
- 在 VLA 中桥接表征与动作空间,实现人机迁移(H2RB)
对机器人本体软件开发者,用处很直接:目标机器人数据不够时,可先用人手视频补充新物体和新技能的监督,而不必强行让人与机器人的动作参数一一对齐;代价是训练管线里要加一套按本体分支的动作隐变量分词器和一路几何回归头。论文给出的量级说明,这类混合训练确实能补上源机器人数据里没有的行为。
- DynaFLIP:通过三模态动力学引导的表征重新思考机器人感知
对机器人本体软件工程师,这提供了一条"换视觉骨干"的路径:编码器在下游冻结、或只训练一个轻量注入模块即可复用,不必改动策略结构;预训练只需 RGB 视频,不需要机器人动作标注。作者更大的主张是:机器人泛化部分是一个感知问题,视觉表征应编码动力学与控制相关信息,而不只是视觉显著性。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- 一次扫描就够:语言引导导航的无示范适配与真机验证
对机器人本体软件开发者,最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据,换成一次扫描加一次人工标定:同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路,而不是他们的模型或数字;换用自家策略与本体仍需自行复现,本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
- 超越外观变化:为 VLA 模型做任务语义动作校准(Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models)
对做机器人本体软件的开发者,可借鉴的是接入方式而不是网络结构:校准层作为可插拔组件挂在共享 VLA 的动作输出上,骨干权重不动,训练侧额外准备“保义改写”和“语义破坏改写”两类指令对即可,推理侧默认路径的代价是 p50 增加 47–53 ms。作者主张的工程逻辑是:目标或约束真变时,先让策略“不再按旧任务继续跑”,再谈改对,这比笼统追求鲁棒性更贴近部署中“指令换目标”这类变更。保义支路则把“什么时候才允许改动基础动作”写成显式证据门控,可用于设计回退与监控策略;但它需要再查一次冻结策略,端到端延迟接近 1 秒,按其量级更适合作低频或早期修正,不宜放进高频控制回路。文中全部数字来自作者自测的仿真与真机试验,本次材料未见独立复现。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- AWLS:面向单步生成式机器人操作策略的优势加权潜空间引导
为已有单步操作策略提供一种保留解码器的离线适配路径;部署端无需保留价值评估器,也不引入迭代去噪或候选动作筛选。
- 价值即记忆:面向通用机器人策略的在线价值引导后训练
将价值预测从训练监督扩展为策略输入,为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。
- T2-z:面向机器人世界模型的环境潜变量测试时优化
提供了一条冻结世界模型、仅优化环境表示的测试时适配路线,使交互证据可用于执行前比较候选动作结果,无需预定义物理因素监督或独立环境编码器。
- MAIA:通过多模态世界模型预判接触密集型操作中的交互异常
这项工作展示了世界模型的一种用途:预测计划动作的物理后果,为执行前的候选动作筛选提供依据,而不只在异常出现后报警。
- EgoJEPA:超越重定向,从第一视角视频学习灵巧操作
提供了一条以共享潜在动作连接人类视频预训练与机器人控制的路线;作者实验支持其在所测本体间复用预训练、降低重复适配开销的价值。
- TartanMatch:迈向跨模态通用稠密对应
该工作为多传感器稠密对应提供共享模型路线,并在指定实验中显示跨模态联合训练的正迁移。
- 无需更新策略的基于流的策略适配
提供一种把任务理解留给底层智能体、以目标无关专家先验选择性修正执行动作的适配路径。
- TaskAnchor:为长时程操作中的反应式VLA锚定任务状态
作者实验支持将历史证据与显式阶段条件结合,用于改善预训练VLA的历史依赖动作选择,而非另设规划循环。
- ARC:面向机器人基础模型的推理配方
对机器人本体软件工程师,这是一条不靠堆数据的改造路径:不重新采数据、不重训基础模型,用自动生成的因果轨迹改造已有策略,改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
- StressDream:引导视频世界模型,用于鲁棒策略评估与改进
该研究展示了用引导生成筛查候选轨迹失败风险、并以悲观生成辅助示范重加权的路径;证据限于作者所评估的设置,不外推为通用策略能力。
- RawVLA:面向机器人操作的具身神经图像信号处理器
该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。
- SCOUT:通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。
- 从预训练到熟练掌握:以最少人工干预开展面向长时程操作的真实世界子任务强化学习
提供一种保留基础策略、用局部奖励集中修补失败环节的适配路径;改进仍以完整任务执行评估,而非只看孤立子任务。
- ICI-VLA:面向视觉—语言—动作模型、利用时空对齐示范的上下文模仿
作者实验支持将时空对齐示范作为固定策略的测试时适配输入;消融中,移除掩码、DTW或语义筛选均降低成功率。
