内容摘要
VLA(视觉-语言-动作模型)能直接从图像和自然语言指令执行操作任务,但失败常常突然发生。无人值守部署需要一个运行时监控器在策略跑偏时报警,而现有做法通常另挂一个视觉语言模型(VLM)给策略打分,带来额外复杂度和算力开销。
这篇论文改为直接读策略自己的内部激活:在只有成功演示的轨迹上,用一个随时间递减的进度标签(自动生成,不需人工标注)训练线性进度探针,从 VLA 某一层的激活向量解码当前进度;运行时把探针读数与成功轨迹对应的标称进度相比,落后超过阈值即判失败。探针只用成功数据训练,推理时复用策略前向本来就算好的激活,几乎不增加计算。
在开源策略 π0.5 的 VLABench 仿真中,探针推理延迟为 2.6×10⁻² ms,是各基线里最低的;失败判别的 episode 级 AUROC 0.909、状态级 0.788,不用失败标签即与需要额外失败数据训练的 SAFE 相当。相比 4B 参数的 VLM 基线 Robometer,探针只微调约 2K 参数、推理快 10,000 倍以上;平均在 0.60 个 episode 处才发出失败警报,与显式建模时序的 SAFE-LSTM(0.53)接近。
真机实验用 Franka 机械臂和 6 个操作任务,探针在 episode 与状态级 AUROC 上都高于全部基线;在留出任务上重训再测,平均状态级 AUROC 0.81。作者也写明限制:结果只来自 π0.5,探测的是 VLM 主干,带扩散或流匹配动作专家的 VLA 是否适用尚未验证。
点评
对做机器人本体软件和部署的工程师,这是一个几乎零额外开销的失败检测手段:在现有 VLA 推理链路上挂一个只读内部激活的线性探针,用少量成功演示训练即可判断策略是否跑偏,无需收集失败数据,也无需再部署一个视觉语言模型来打分。
结论均出自作者自评的 arXiv v2 预印本正文,本次材料未包含第三方独立复现;实验只覆盖 π0.5 一个策略和它的 VLM 主干,带动作专家的 VLA 未验证,且检测性能随任务差异明显。arXiv 版本与列表页会滚动更新,具体数值应以该版本正文表格为准。
版本与核查范围
版本 2610.31613v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S5.p1.1;#S5.p4.2;#S5.p5.1;#S6.SS1.p3.1;#S6.SS1.p4.1;#S6.SS1.p6.1;#S6.SS2.p4.1;#S7.SS1.p3.1;#S7.SS2.p3.1;#S8.p2.1
