跳至正文
原文导读 · 原标题中译

ContactGuard:基于动作条件潜空间世界模型的接触前执行监控

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

材料发布 2026-11-15 · arXiv · 作者论文 · 核查 2026-11-20
图 2:ContactGuard 概览。冻结的编码器 E_φ(各视角间共享)将相机观测映射为潜在上下文(latent context)。一个以动作为条件的预测器在策略所规划的动作块(chunk)下向前滚动该上下文,得到未来潜在表示 ẑ_{t+1:t+K}。一个轻量探针在带标注的接触前片段上离线训练,在线阶段用于对预测的接触后潜在表示 ẑ_{t+K} 打分。若预测的失败概率超过阈值 τ,则在发生接触之前中止执行。训练时将教师强制(teacher forcing)的下一潜在预测与推理时所用的自回归滚动结合起来。 图片出处
图 1:对策略动作块的接触前在线监控。从计划夹爪闭合时刻 T_g 之前 k 步开始,冻结的世界模型在同样的候选动作下向前滚动 h 步。一个轻量分类器对 T_g−k+h 时刻预测的接触后潜在表示打分。若 P(fail) > τ,ContactGuard 就在 T_g−k 处、即接触之前中止,从而避免预测到的失败发生。 图片出处

内容摘要

接触密集操作里,失败常在夹爪碰到物体之后才被发现:腕部相机虽便于观察接触,但一次偏差的接近可能已经推开、错过、打滑或扰动了物体。ContactGuard 换了个问法——不问“是否已经失败”,而问“即将执行的动作块会不会失败”,并在接触前中止。

它是一个挂在策略旁的旁路检查器:把分块视觉运动策略(一次给出整段动作块,如 ACT)当黑箱提议者,只读当前观测和策略已输出的动作块,不改策略也不需联合训练。内部用动作条件的潜空间世界模型从无标注轨迹学习多相机紧凑视觉嵌入在动作下的演化,避开像素级视频生成;再用少量标注的接触前片段训练线性探针,只对预测出的“接触后潜变量”打分。部署时在计划闭合前 15 帧(30Hz 即 0.5 秒)锚定,按策略自己的动作滚动 30 步到闭合后 0.5 秒,失败概率超阈值即在闭合前否决。

在 14 自由度 AgileX Piper 双臂、三路同步 RGB 相机上,团队用杯、盒、铅笔、毛巾四个抓取任务评测:AUC 为 0.960 / 0.966 / 0.930 / 0.904,高于同编码器改读当前潜变量的对照(0.829–0.862)与单相机版本(0.890–0.930),盒任务也与直接预测基线接近(0.966 对 0.963)。固定观测、只换动作的反事实扰动显示失败分数随具体动作变化:把失败回合的动作移植到成功回合,失败概率平均上升 0.20–0.54。

条件与边界:最终评测只用每任务 50 次单独采集的真机回合;闭环中机器人在本该中止时暂停 5 秒再续做以记录结局,属代理观测;触发器只覆盖夹爪闭合;中止只是弃权,不自行恢复。

点评

对做本体软件的开发者,它可以当一个策略外的门禁模块:夹爪闭合前先问一次“这段动作块会不会失败”,不行就在接触前否决,底层策略不用改,单卡即可实时(RTX 5090 上完整判别约 22 毫秒)。代价是每个任务要凑一批带标注的接触前片段来训那个线性探针,并针对具体接触事件设计触发器。

只覆盖夹爪闭合这一种触发线索,且仅适用于结果能在下一个动作块内确定的接触事件;中止只是弃权,不会自行恢复或完成任务;闭环数据来自暂停 5 秒后续做的代理观测,不是真实拦截后的成功率;最终评测每任务 50 次单独采集的真机回合,样本量小。全部结果出自作者论文(arXiv v2 预印本),材料中没有第三方复现。

版本与核查范围

版本 2608.13438v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p3.1;#S1.p2.1;#A1.SS0.SSS0.Px4.p1.1;#S4.SS1.p1.1;#A1.SS0.SSS0.Px6.p1.1;#S4.T2.3;#S4.T5.2;#S4.SS3.p5.1;#S3.SS5.p1.1;#S4.SS1.p4.1;#S5.SS1.p1.1