跳至正文
原文导读 · 原标题中译

为冻结的视觉-语言-动作模型学习低延迟动作验证

Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models

材料发布 2026-11-11 · arXiv · 作者论文 · 核查 2026-11-14
图:HDH 总体框架。(a) 给定任务指令、当前图像观测和本体感知(proprioception)信息;(b) 我们从一个冻结的 VLA 中采样候选动作块(action chunk);(c) 我们用一个基于回合终止结果(terminal rollout outcome)训练的紧凑验证器,为每个候选动作块给出预测的任务成功分数;(d) 机器人执行预测任务成功分数最高的候选动作块的前 H 个动作。 图片出处
图:真实世界操作任务。评测内容包括把毛绒玩具放到盘子上、把草莓放进橱柜并关上柜门,以及从抽屉中取出方块并合上抽屉。这些任务覆盖物体放置与多阶段操作。 图片出处

内容摘要

部署视觉-语言-动作模型(VLA,把图像与语言指令直接映射成机器人动作的模型)时,常见做法是每次只采一个动作块就执行。但生成式策略在同一观察下能给出质量差别很大的多个候选,单次采样等于丢掉这层分布,挑哪个候选便成了部署难题。这篇论文不训练新策略,而是把“选得更准”做得足够便宜。

机制分三步,用的是 hindsight(用已经发生的结局反过来当监督):先让冻结策略自主跑 rollout 收集数据;再用每条轨迹的终止成功或失败训练一个紧凑验证器,为每个候选动作块预测“最终任务成功率”分数;部署时策略用各自独立的随机噪声采出两个候选,验证器挑分数最高者执行其前 8 个动作。监督只来自终止结果,不需要专家对比、合成偏好或预测未来。

仿真侧(LIBERO-10 的四个多阶段任务,基线是从 π0.5 用 LoRA 微调后冻结的策略),HDH 平均成功率 82.3%,冻结基线 78.8%,从同样两个候选中随机挑是 77.5%;加入最近三次已完成查询的执行历史后,HDM 的 80.3% 升到 82.3%。时延上,单次查询中位数从 681 ms 增到 718 ms(+5.4%),GPT-5、GPT-6 这类视觉语言验证器则为 27,674 ms 和 7,403 ms。真机三个任务平均成功率 44.7%→67.3%,毛绒玩具放置 64%→94%,抽屉 38%→52%,柜子 32%→56%;Fisher 检验在毛绒玩具、柜子任务和合并统计上显著,抽屉任务不显著。

条件与限制:仿真每方法每任务用 50 个留出初始状态、三个随机种子共 600 个 episode;GPT-5 因推理慢只评 60 个 episode,比较不完全对等。限制还有验证器按任务单独训练、候选集只有 2 个(更大规模作者列为待验证)、时延为含仿真开销的端到端测量、真机时延分解待测、任务与机器人设置数量有限。以上为作者论文自报,本次材料未见独立复现。

点评

对做机器人本体与部署的工程师,实用点在于:不必重训策略,也不必准备专家偏好数据——监督可以直接来自策略自己的部署日志(用终止成功/失败打标签),在控制回路里只多出一次轻量打分与选择,论文测得每次策略查询的中位时间只多 5.4%。

验证器按任务单独训练,跨任务共享未做;候选集固定为 2 个,更大规模下的表现与开销是作者明确留下的开放问题;时延数字是含仿真开销的端到端测量,真机时延分解待测;GPT-5 只评 60 个 episode,与其他方法不完全对等;评估覆盖的任务与机器人设置数量有限。以上为作者论文自报结果,本次材料未见独立复现。

版本与核查范围

版本 2611.14834v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#abstract1.1;#S1.p3.1;#A1.p6.1;#S4.SS1.p2.1;#S4.SS2.p2.1;#S4.SS3.p1.1;#S4.T1.4;#S4.T2.4;#A4.T6.4;#S4.SS1.p6.1;#S5.p2.1