推理优化通过量化、编译、缓存、并行/异步和动作分块减少计算或等待。应同时验证任务能力、显存/功耗和反馈陈旧,不能只看输出动作数。
| 方法 | 可能收益 | 需要保留的条件 |
|---|---|---|
| 量化、编译、减少去噪步 | 缩短单次推理 | 精度、输入分辨率、步数、硬件与任务回归 |
| 动作 chunk | 摊薄推理开销、连续执行 | 执行前缀、重规划周期、过时动作处理 |
| 异步与缓存 | 重叠计算、通信和控制 | 队列延迟、时间戳及取消/覆盖行为 |
当前判断 · 2026-10-10 核查
GR00T N1.7-3B 模型卡 在 H100、1 camera、4 denoising steps 条件下报 Eager 85.8 ms、TensorRT full pipeline 27.9 ms。这是厂商推理表,既不是所有配置性能,也不是整机感知到执行延迟;GA/EA 配套还存在冲突。依据与边界
Cosmos 3 Edge 报 Thor T5000 约 1.53 秒生成覆盖 2.13 秒运动的 chunk,连续运动不等于每次观测都重规划。原文预处理/执行配置未逐项回代码验证。依据与边界
SONIC 的 80/200 ms 是控制参考前视,不能作为推理优化前后的实测延迟。依据与边界 比较边界见 系统评测。
证据补充 · 2026-10-10
Q-WAM v1 用小型 16-bit 分支保护动作敏感子空间,其余 W4A4;目标量化块内存缩减约 3.1–3.4 倍,并非整机显存同比下降。五任务各 25 次真机测试仍低于 bf16(Fast-WAM 56.0% 对 64.8%;ImageWAM 76.0% 对 83.2%)。另见 GROOVE v1:固定策略后的执行平滑属于控制接口优化,须与模型推理加速分开记录。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- Body Schema Policy(BSP):把“身体图式”写进视觉—动作接口的小型全身策略
对做本体和控制软件的工程师,这篇论文给出的东西更像一份结构说明加一组部署数字。 第一,策略接口的形态。论文把机器人建模为以根为起点的运动学树:直接控制的关节构成连通子树并带父子关系,底盘速度这类交给底层控制器的命令作为“离树”坐标单独处理;论文也明确说本体和底层控制器决定策略的命令空间。所以迁到新本体时,主要工作量是把关节层级、指令语义与底层控制器接口对齐,而不是去收集大规模预训练数据。另外策略输出的是关节目标,工程上仍然需要一个能稳定跟踪关节目标的全身控制器——真机实验中三个策略都通过关节空间控制策略 HoloMotion v1.4 控制从腿到手指的全部 43 个关节。 第二,延迟与规模的量级。仿真评测里一个动作块(16 步)13.9 ms,真机所用主机上 17.4 ms;服务路径的做法是缓存与观测相关的视觉 key/value、并把每轮去噪作为捕获的 CUDA graph 重放,这套部署侧做法可以直接照抄。它还意味着策略按“执行完整个预测动作块再取下一次观测”的方式工作,接进现有控制回路时需要按这个节奏安排观测频率。 第三,可诊断性。每个部位读画面的区域不同,而且这种分工不是人工标注监督出来的;排查某个关节动作异常时可以直接看该部位的敏感度落在画面哪里,也能理解为什么手部指令需要局部细节、底盘指令需要全局视野。同时要清醒:这套结构不能顶替视觉表征——把 DINOv2 换成从头训练的 ResNet-18 会让总分大约减半,所以换本体或换视角时仍要准备好高质量预训练特征与相应适配工作。
- 为冻结的视觉-语言-动作模型学习低延迟动作验证
对做机器人本体与部署的工程师,实用点在于:不必重训策略,也不必准备专家偏好数据——监督可以直接来自策略自己的部署日志(用终止成功/失败打标签),在控制回路里只多出一次轻量打分与选择,论文测得每次策略查询的中位时间只多 5.4%。
- 规划器会利用确定性误差:抖动式低比特世界模型
给做机器人推理部署与本体软件的人一个不改模型、不需训练的低比特世界模型配方:把激活量化从固定就近取整换成"每轮重抽、候选间共享"的抖动,让采样规划器在迭代中追不到系统性误差。在作者实测中(共享抖动对 rollout 的额外延迟最多约 2.3%),Meta-World 上大部分量化掉点被挽回;但这是单篇预印本的作者自测结果,尚未见独立复现。
- 用检索到的引导做零样本 VLA 适配:RAGu 冻结模型权重,把跨域演示变成轨迹约束
对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。
- WorldBridge:桥接视频与动作,实现世界动作模型的任务泛化
对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。
- 修复(模型):阻止批处理填充改变预测动作
对做机器人本体软件的工程师,这是一个直接影响部署确定性的坑:批量推理时同一条观测的输出不应依赖同批次的其他样本。GR00T 的做法是把这一行为变成两个显式开关,并写清与 TensorRT 导出/服务路径的冲突,避免把批次组成变成难以复现的隐藏变量。以上行为与代价均以 NVIDIA README 的记载为准,属厂商工程说明而非独立复现结论。
- 当视觉压过语言:评估并缓解 VLA(视觉-语言-动作模型)的反事实失败
对做机器人本体软件与部署的工程师,这篇把“模型到底有没有在听指令”变成一个可测项,并给出不改基座结构与预训练权重、只在推理期生效的补偿手段;代价是每次多一条推理分支,以及 VA 版本需要额外训练一个只看图像的模型。
- HeLM:面向非马尔可夫操作的分层显式语言记忆
对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。
展开其余 20 条历史观察
- NVIDIA Cosmos3-Nano-Sim-Auto:用 Cosmos 做面向物理 AI 的交互式世界仿真
对自动驾驶与机器人软件开发者,这次的关键变化是闭环输入直接来自策略自身的规划轨迹,且相机与激光雷达是联合生成的(官方称用于支撑空间与时间一致性),因此多传感器感知栈与驾驶策略能在同一次 rollout(一次连续生成)里一起评估,而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU,模型卡未提及嵌入式或车端部署,因此按现有公开信息,它更适合放在数据中心侧跑仿真生成数据,而不是直接装进机器人本体。
- Cosmos-H-Dreams:英伟达面向外科机器人的实时动作条件世界模型(模型卡已指向更新版本)
对接机器人本体或策略软件时,接口是明确的:给一帧上下文图像加一条 44 维动作流,服务每 12 个动作步回传 12 帧画面;人可以拿键盘或 Meta Quest 头显手动驱动,也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库,对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述,落地前仍需在自己的场景、动作空间和硬件上实测。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
- 超越外观变化:为 VLA 模型做任务语义动作校准(Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models)
对做机器人本体软件的开发者,可借鉴的是接入方式而不是网络结构:校准层作为可插拔组件挂在共享 VLA 的动作输出上,骨干权重不动,训练侧额外准备“保义改写”和“语义破坏改写”两类指令对即可,推理侧默认路径的代价是 p50 增加 47–53 ms。作者主张的工程逻辑是:目标或约束真变时,先让策略“不再按旧任务继续跑”,再谈改对,这比笼统追求鲁棒性更贴近部署中“指令换目标”这类变更。保义支路则把“什么时候才允许改动基础动作”写成显式证据门控,可用于设计回退与监控策略;但它需要再查一次冻结策略,端到端延迟接近 1 秒,按其量级更适合作低频或早期修正,不宜放进高频控制回路。文中全部数字来自作者自测的仿真与真机试验,本次材料未见独立复现。
- AWLS:面向单步生成式机器人操作策略的优势加权潜空间引导
为已有单步操作策略提供一种保留解码器的离线适配路径;部署端无需保留价值评估器,也不引入迭代去噪或候选动作筛选。
- OxyGen:多任务并行下视觉—语言—动作模型推理的统一键值缓存管理
对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。
- 面向自适应 VLA 动作块执行的策略对齐预测验证
将未来预测用于判断已有动作提案可以执行多远,而不是生成新动作,为既有 VLA 的执行长度选择提供另一条路径。
- Fast-VLA:机器人操作只需思考一次
论文提供了一种推理优化路径:固定任务上下文不等于开环执行,在线执行器仍利用实时视觉与本体感觉反馈更新动作。
- PINT:以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师,可直接借鉴的是接口层面的三点:把跨模块共享信息压成一段紧凑的意图表示;只替换视频生成模型的条件入口、保留其预训练生成机制;以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向,使延迟与同规模 Fast-WAM 接近(331 毫秒对 266 毫秒),本体实时性压力可控。
- EagleVLA:通过前瞻对齐的异步推理迈向机载实时机器人控制
将动作条件的未来表征预测与置信度调度结合,为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
- Long-WAM:扩展世界—动作模型的上下文
作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。
- 多少规划才足够?减少世界模型规划中的搜索与计算
将“结果足够好”的预算校准与单次求解内的计算复用分开,为既有世界模型规划器提供部署侧优化路径,而非改进模型本身。
- 条件轨迹峰:面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
- FLEX-WAM:面向长时程想象与规划的灵活块因果世界—动作模型
该作者论文展示了由同一模型提供动作提案与想象结果的规划路径,并将动作响应性作为联合训练中需要主动维护的能力。
- DiVeR:面向VLA测试时扩展的决策关键性验证器学习
该作者论文提示,VLA测试时扩展不仅取决于增加候选数量,也取决于让验证器重点学习动作差异真正影响结果的状态。
- EgoFound3R:具有逐点交互属性的世界空间端到端第一视角手部重建
把几何与交互属性解码合并,并减少重复场景聚合,为第一视角视频的大规模手部标注提供一条统一处理路线。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- SteerQuant:在世界—动作模型中通过动作引导缩放调控量化误差
作者结果支持以最终动作影响指导量化误差分配,并用融合内核减少缩放开销,为世界—动作模型的低位宽推理提供一种方法。
- VLAQuantBench:视觉—语言—动作模型训练后量化的闭环评测
研究支持将层范围、数值格式与校准配方联合做闭环验证,而非套用通用层敏感性规则。作者报告开放评测代码、配置、层范围定义和回合记录,为后续比较提供工程基础。
- 以潜在动作为意图,使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
关联报告
来源与阅读
- GR00T N1.7-3B 模型卡 · 固定快照 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- Cosmos 3 Edge 后训练与部署说明 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- GEAR-SONIC 模型卡 · 固定快照 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- Q-WAM:量化要保护动作敏感方向 · 2609.33269v1 · 2026-10-10 报告扩编定向核查;§5、Tables 1–2、附录 B.3;作者证据,未独立复现。
- GROOVE:动作块之后仍有控制优化空间 · 2609.13695v1 · 2026-10-10 报告扩编定向核查;§IV-C/D、Table II;作者证据,未独立复现。
