跳至正文
原文导读 · 原标题中译

进度探针 P²:面向视觉-语言-动作模型的轻量级运行时监控

Progress Probes $P^2$: Lightweight Runtime Monitoring for Vision-Language-Action Models

材料发布 2026-11-11 · arXiv · 作者论文 · 核查 2026-11-14
图 1:进度探针(Progress Probes,P²)直接从 VLA(视觉—语言—动作模型)的内部激活中解码任务进度。仅使用成功示范,为每个时间步分配一个归一化进度 ζ_t,并拟合一个线性探针(linear probe,即在冻结特征上训练的简单线性分类/回归器)来从第 i 层的激活 z_t^i 预测该进度。运行时,成功执行沿预期进程推进,而失败执行会使解码出的进度滞后或偏离这一标称轨迹。因此,策略自身的表征就足以构建一个轻量级运行时监控器,既不需要失败数据,也不需要外部基础模型。 图片出处
图 3:硬件实验——运行时监控。展示用于失败检测的回合级(episode-level)与状态级(state-level)AUROC(ROC 曲线下面积,衡量区分失败与成功样本能力的指标)。P² 在两个层级上均表现出较强的可分性,可用于运行时监控。 图片出处

内容摘要

VLA(视觉-语言-动作模型)能直接从图像和自然语言指令执行操作任务,但失败常常突然发生。无人值守部署需要一个运行时监控器在策略跑偏时报警,而现有做法通常另挂一个视觉语言模型(VLM)给策略打分,带来额外复杂度和算力开销。

这篇论文改为直接读策略自己的内部激活:在只有成功演示的轨迹上,用一个随时间递减的进度标签(自动生成,不需人工标注)训练线性进度探针,从 VLA 某一层的激活向量解码当前进度;运行时把探针读数与成功轨迹对应的标称进度相比,落后超过阈值即判失败。探针只用成功数据训练,推理时复用策略前向本来就算好的激活,几乎不增加计算。

在开源策略 π0.5 的 VLABench 仿真中,探针推理延迟为 2.6×10⁻² ms,是各基线里最低的;失败判别的 episode 级 AUROC 0.909、状态级 0.788,不用失败标签即与需要额外失败数据训练的 SAFE 相当。相比 4B 参数的 VLM 基线 Robometer,探针只微调约 2K 参数、推理快 10,000 倍以上;平均在 0.60 个 episode 处才发出失败警报,与显式建模时序的 SAFE-LSTM(0.53)接近。

真机实验用 Franka 机械臂和 6 个操作任务,探针在 episode 与状态级 AUROC 上都高于全部基线;在留出任务上重训再测,平均状态级 AUROC 0.81。作者也写明限制:结果只来自 π0.5,探测的是 VLM 主干,带扩散或流匹配动作专家的 VLA 是否适用尚未验证。

点评

对做机器人本体软件和部署的工程师,这是一个几乎零额外开销的失败检测手段:在现有 VLA 推理链路上挂一个只读内部激活的线性探针,用少量成功演示训练即可判断策略是否跑偏,无需收集失败数据,也无需再部署一个视觉语言模型来打分。

结论均出自作者自评的 arXiv v2 预印本正文,本次材料未包含第三方独立复现;实验只覆盖 π0.5 一个策略和它的 VLM 主干,带动作专家的 VLA 未验证,且检测性能随任务差异明显。arXiv 版本与列表页会滚动更新,具体数值应以该版本正文表格为准。

版本与核查范围

版本 2610.31613v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S5.p1.1;#S5.p4.2;#S5.p5.1;#S6.SS1.p3.1;#S6.SS1.p4.1;#S6.SS1.p6.1;#S6.SS2.p4.1;#S7.SS1.p3.1;#S7.SS2.p3.1;#S8.p2.1