内容摘要
精密装配中,对齐或受力的小误差就足以让工件卡住或变形,纯视觉看不出这种隐藏阻力。这项工作瞄准预训练视觉-语言-动作模型(VLA,把视觉与语言映射为机器人动作的通用策略)在接触后的纠错能力,指出两个障碍:单次触觉读数说不清近期动作造成了什么后果,把触觉直接融合进动作专家会打散其视觉注意力,减少分给接触区域的份额。
做法是给预训练 VLA 加轻量触觉模块,分两层。动作层是可查询的动作—响应记忆:记录每条指令执行后的载荷变化,按当前接触与机器人状态形成查询,从历史中检索与下一步最相关的响应送入动作专家。感知层是接触引导的凝视监督:把指尖接触投影到主相机图块,要求触觉语义 token(承载触觉语义的向量)的注意力落在该区域。训练先用一步响应预测初始化两个触觉编码器(不跑 VLA 主干,作者称额外开销很小),再联合优化动作、语义与凝视三个损失。
三个 MuJoCo 任务平均成功率 73.33%,同传感器输入的直接融合基线为 50%,差值的 95% 配对自助法置信区间为 14.67 至 32 个百分点;公开基准 UniVTAC 的 Insert Tube(改用光学触觉图像)达到 67%,基线为 46% 与 51%;UR5e 真机(Robotiq 140 夹爪、双指电子皮肤)上的三个任务平均 66.7%,最强基线 44.7%。消融中去掉记忆 token 降到 54%,去掉凝视监督降到 49.33%。
这些数字都出自论文自身的评测;本次可用材料只有该论文的 arXiv v1 全文,未见第三方复现。
点评
对做机器人本体软件的开发者,这是一条可复用的触觉接入路径:触觉不必整体拼进动作专家,可以先编码成按当前状态检索的响应记忆,再用指尖接触的投影约束视觉注意力落点。两个模块都在预训练 VLA 上做后训练,响应预测阶段不启动主干,只训练两个触觉编码器。
结果全部来自该论文自身的评测与统计口径,本次可用材料只有 arXiv v1 全文,未见第三方复现;其四次安全失效全部出现在钉子插入任务,插头插入与旋钮任务没有安全终止记录。
版本与核查范围
版本 2611.23963v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #p2.1;#p2.1;#S3.SS2.p2.1;#p2.1;#S3.SS4.p1.2;#S4.SS2.p1.1;#S4.SS2.p3.1;#S4.SS2.p4.1;#S4.SS3.p2.1;#S4.SS3.p4.1;#S4.SS2.p2.1;#S4.SS1.p2.1
