跳至正文
原文导读 · 原标题中译

ActionUNet:冻结 VLA 主干、只改动作头的多尺度微调模块,提升杂乱场景下的鲁棒性

ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning

材料发布 2026-11-14 · arXiv · 作者论文 · 核查 2026-11-20
图 2:ActionUNet 概览。给定输入观测与指令后,VLA(视觉-语言-动作)骨干网络首先产生时间对齐的动作特征。ActionUNet 通过多尺度时序映射在动作特征空间中对这些特征进行细化,随后用条件化 SIREN(正弦表示网络)解码融合后的特征,得到平滑的连续动作轨迹。 图片出处
图 3:条件化 SIREN 解码器概览。以多尺度动作特征为条件的局部 SIREN 场在连续时间上进行查询,并与 Matérn 核权重相融合,以生成时间上平滑的动作。 图片出处

内容摘要

解决什么问题:给已有 VLA(视觉-语言-动作)模型做任务微调时,常见现象是环境里多一个干扰物、换灯光或背景,成功率就明显掉。作者的解释是时间尺度错配——把粗粒度多模态语义直接映射成细粒度动作序列会严重失配,模型因此过度依赖抽象语义,抓不住抵抗局部扰动所需的细粒度时间线索。

这次改了什么:不动主干。预训练主干冻结,只微调动作专家,动作专家沿用基座原有的训练目标,所以直接回归和流匹配两种策略都能接。第一段改造是在时间对齐的动作特征空间里加一个轻量时序 U-Net,显式编码多尺度先验;第二段是条件 SIREN 解码器(以正弦为激活的隐式网络),把多尺度融合后的动作特征当作条件输入以保持内在时间对齐,并用显式二阶平滑约束保证时间连续性、抑制高频抖动;各局部场再按归一化 Matérn 核加权聚合成连续动作轨迹。

结果(均为作者自报):RoboTwin 2.0 的 12 个任务上(基座 π0.5),easy 设置平均成功率提升 8.8%、hard 设置提升 9.8%;LIBERO-Plus 各类扰动下平均成功率从 65.8% 升到 71.9%;真机双臂评测 easy 从 76.0% 升到 88.7%、hard 从 57.3% 升到 68.7%;消融中补上 Matérn 核后,四个消融任务上为 easy 77.8%、hard 46.5%。代价是策略级单次调用平均延迟从 60.947 ms 变为 64.886 ms。

点评

对机器人本体软件开发者来说,这篇给的是一份“主干不动、只换动作头”的改造点清单:

- 插在哪:预训练主干冻结、只训动作专家,沿用基座原有训练目标,回归式与流匹配式策略都能接,感知与语言侧不用动。 - 改哪里:在“时间对齐的动作特征”上做 U-Net 式多尺度融合,而不是在图像或语言语义层做多尺度,因此不必为不同基座重做感知/语言结构。 - 怎么出动作:把动作块当作连续时间上的轨迹建模,条件 SIREN 出局部场、Matérn 核做加权聚合,二阶平滑约束用于压抖动、保时间连续。 - 部署侧的账:策略级单次调用 60.947 ms(±0.251 ms)→ 64.886 ms(±0.376 ms)。这是纯策略计算口径,论文明确提醒不能当作端到端机器人执行延迟——机械运动、低层控制器约束、安全限速、夹爪动作和接触交互都要另算。 - 选型提示:消融显示补上 Matérn 核后四个任务为 easy 77.8%、hard 46.5%,两段结构需配合使用。

证据性质:所有数字都来自作者论文自报(arXiv 预印本),本次材料中没有第三方独立复现,摘要与正文的提升幅度属于作者自己的口径,不能当作已被独立验证的结论。

评测口径:RoboTwin 2.0 只选其中 12 个任务评测,每个任务用 50 条干净演示训练、按 100 次 rollout 评估,easy 与 hard 的差别在于干扰物、背景、光照、桌面高度和语言的变化;LIBERO-Plus 是模型在 LIBERO 上训练后直接放到扰动环境里评的。样本与任务覆盖有限,不能等同于完整基准上的表现。

延迟口径:附录给出的只是策略计算时间,不含机械执行、低层控制、安全限速与夹爪动作,不能当作整机端到端时延。

改造范围:改动集中在动作特征与动作解码一侧,主干保持冻结。

版本与核查范围

版本 2609.34982v4 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p3.1;#S3.SS2.p1.1;#S1.I1.i2.p1.1;#S3.SS3.p3.1;#S3.SS4.p1.1;#S4.SS2.p1.1;#S4.SS1.p2.1;#S4.SS3.p2.1;#S4.SS4.p2.1;#S4.SS5.p1.1;#A2.T6.5;#A2.p3.1