跳至正文
原文导读 · 原标题中译

SALA:用语言描述对齐人机隐式动作,让通用人类视频成为可扩展的机器人策略监督来源

SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

材料发布 2026-11-15 · arXiv · 作者论文 · 核查 2026-11-20
图1:SALA总览。左:未配对的人类视频与机器人视频仅通过对各自原子动作的语言描述建立关联。中:以这些关系监督一个潜在动作分词器(把连续画面片段压缩为离散"潜在动作"标签的模型),使潜在动作按动作语义而非按场景来组织。右:通过对齐后的潜在动作,人类视频监督着与控制机器人相同的策略:更多人类视频预训练在不增加机器人数据的情况下降低机器人动作预测的验证误差,而更多任务相关的人类视频在后训练中提高真实世界成功率。 图片出处
图2:方法总览。(a) 潜在动作分词器。机器人(蓝色)与人类(橙色)片段共享视觉编码器 E_θ、SoftVQ量化器 Q_φ 和视觉解码器 G_v;仅机器人片段用于训练动作解码器 G_a。原子动作描述之间的语言相似度 S^ℓ 定义软邻域 P,用以监督由潜在相似度 S^z 得到的潜在邻域 Q,梯度在机器人潜在变量处截断。(b) VLA策略(视觉-语言-动作策略,即把视觉与语言输入映射为机器人动作的模型)。冻结的分词器为每个片段标注潜在动作token y,每个token是码本上的一个类别分布。动作专家中的潜在查询通过潜在头预测 ŷ,并由 ℒ_LA 监督,人类与机器人数据都参与该监督;机器人数据还额外用 ℒ_FM^R 训练流匹配(一种按连续轨迹生成动作的训练方式)。在动作专家中,蓝色输入(状态与带噪动作)仅用于机器人数据,绿色潜在查询则人类与机器人数据共用。 图片出处

内容摘要

任务:让机器人策略从"别的本体的视频"里学——用大量真人第一视角视频(采集不需要机器人)来补充昂贵的真机遥操作数据,训练控制机器人本体的策略。已有的通用做法是隐式动作模型(LAM:从前后两帧学出一个动作编码),但多数 LAM 只做视频重建,学出的编码容易按画面外观(例如场景)而不是按底层动作聚类,于是人做的动作和机器人做的同一件事在编码空间里对不上。

SALA 的改动:用每个片段"原子动作"的自然语言描述,在不要求人机数据配对的前提下估计语义相似度,把它转成"软邻域"目标;机器人一侧的隐式动作由动作重建锚定在控制上、充当锚点,人类一侧单向移动过去(stop-gradient 保证锚点不被反向拉动)。分词器训好后只看视频帧就能给人和机器人视频打上同一套隐式动作标签,成为在两类视频上训练策略的统一监督信号。

作者自测结果:仿真 RoboTwin 2.0 上,用来代替真人视频的是另一台机械臂的视频,SALA 的平均成功率高于用同样数据训练的已有 LAM 与 WAM。真机为 Sharpa North 轮式人形机器人,配两只 22 自由度灵巧手,63 维关节动作;四个下游任务各 20 次试验,SALA 平均 72.50%,OpenWAM-α 63.75%,同架构但去掉隐式动作的基线 27.50%。预训练阶段把通用人类视频加到 2,678 小时,机器人动作预测误差持续下降且不需要新增机器人数据;后训练阶段固定遥操作演示、逐步增加任务相关人类演示,平均成功率从 53.75% 升到 72.5%。

点评

对做机器人本体软件的工程师,有用处的有两点。一是监督来源可以按小时计量:先用一批带原子动作描述的数据训一个跨本体的隐式动作分词器,之后人和机器人的视频都被映射到同一套语义对齐的动作编码上,策略用同一套编码同时从两类数据里学——预训练阶段可以用通用人类视频补充机器人数据而不必新增遥操作采集,新任务则能在固定遥操作预算之外用便宜的人类演示补强(真机上固定遥操作演示、逐步增加任务相关人类演示,平均成功率 53.75%→72.5%)。二是部署侧不增加负担:教师分词器和未来帧只在训练时使用,部署时策略只看当前观测。代价是流程里多了一个要单独训练和维护的分词器环节,它要求为训练片段准备原子动作描述,而策略本身不吃这些描述、只从视频帧学习。需要提醒的是,本次核查材料中的所有数字都出自作者自测的仿真与单台真机实验,没有独立复现证据。

全部数字均来自作者自测实验,条件有限:真机只有 Sharpa North 一台轮式人形机器人、四个下游任务、每任务 20 次试验;仿真的证据只来自 RoboTwin 2.0,且其中的"非目标本体视频"其实是另一台机械臂的视频,不是真人第一视角视频;分词器训练仍需为片段准备原子动作描述(策略本身只从视频帧学习),预训练扩展分析只做到 2,678 小时,更大规模是否延续仍未知。以上为作者自述的限制,结论不宜外推到其他本体、任务或数据条件。

版本与核查范围

版本 2611.17110v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;#S1.p4.1;#S2.SS3.p2.2;#S1.p5.1;#S3.SS3.SSS0.Px1.p1.1;#S3.T4.3;#S1.p5.1;#S1.p5.1;#S2.SS4.p1.1;#S5.p2.1