跳至正文
原文导读 · 原标题中译

我看到你想要什么:从视觉遥操作历史中解码分层操作者意图

I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History

材料发布 2026-11-12 · arXiv · 作者论文 · 核查 2026-11-14
图 2:从机器人演示到层次化意图。(a) 标注流程。VLM(视觉语言模型)将每条回合指令分解为有序的原子动作,并将连续动作归组为它们所服务的任务目标;由粗到细的视频分割在时间上定位每个动作,在有夹爪信号可用时以其引导精细边界,最后交由人工审核。 (b) 所提出的 VIAMO 数据集概览。VIAMO 将每个原子动作与其所属任务目标配对,数据来自 11 个机器人来源的 6,600 个回合(13,653 个动作、9,702 个任务目标),为意图预测提供层次化监督。 (c) VIM 在 VIAMO 上微调,以从一段简短视觉历史和已完成动作的上下文生成当前进行中的动作与当前进行中的任务目标。 图片出处
图 6:真实世界任务中由 VIM 引导的控制权交接。上排从左至右依次展示共享自主(shared autonomy)设置的可视化、放鸡蛋任务和清扫垃圾任务。下排给出一次多任务连续执行中三个相继任务目标的前视关键帧:把樱桃、苹果和香蕉放到盘子上。模式条(mode bar)标示人工遥操作与 VLA 控制的各自时段,任务目标条(mission bar)标明当前激活的任务目标。这些示例展示了交接过程:VIM 从部分遥操作中推断当前进行中的任务目标,操作者予以确认,随后由 VLA 继续执行。 图片出处

内容摘要

遥操作机器人时,操作者往往不会先给一句指令;想让机器人中途接手,系统就得自己从画面判断对方正在做什么、想达成什么。论文把意图拆成两层:当前原子动作(ongoing action, OA)和它服务的更宏观目标(ongoing mission, OM),并要求在动作尚未完成、只看过很短一段遥操作历史时就给出判断。

为此作者构建了数据集 VI AMO:6,600 个操作片段,来自十一个机器人数据源,含 13,653 条时间对齐的动作标注和 9,702 条目标标注。标注流程分五步:GPT-5.6 Sol 先把片段指令拆成有序原子动作、把相邻动作归并到同一目标,Qwen3.7-Plus 做粗时间定位和边界细化(用到夹爪开合信号),最后约 50% 的片段经人工复核。

作者在 VI AMO 上微调得到意图模型 VIM,骨干是 Qwen3.5-27B 视觉语言模型。在 VI AMO 测试集上,动作与目标的 Sentence-BERT(句向量语义相似度)分别为 0.825 与 0.821,而基线中最好只有 0.581 与 0.564;在训练中两个标签都未出现的 35.4%(386/1,091)测试动作上仍有 0.726 与 0.717。

下游应用是共享自主:VIM 预测出的目标由操作者确认后,作为 VLA(视觉-语言-动作策略)的语言指令让机器人继续执行。真机评测用 Franka Emika Panda 机械臂、五个共享自主操作任务,与 GPT-4o、GPT-5.6 Luna 和全程遥操作对照,每任务五次试验。VIM 在每个任务上的遥操作时间都少于两个 GPT 基线,平均相对 GPT-4o 减少 34.6%、相对 GPT-5.6 Luna 减少 39.8%;单次意图预测延迟 0.70–0.81 秒,相对两个基线分别下降 76.9% 与 63.8%。扫地任务中两个 GPT 模型都没给出可用意图,该任务保持全程遥操作。

点评

对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。

结论与数字均出自作者自报(arXiv v1 预印本),本次材料中未见第三方复现或独立验证。论文对意图预测报告的是 SBERT 这类文本相似度指标,真机部分报告的是人工遥操作时间和模型延迟,本次材料中未出现任务成功率或安全相关指标。作者自述的限制包括:模型仍会出错且缺少置信度校准,可靠判断预测何时可信仍是开放问题;数据集评测假设动作边界预先给定,未评估实时遥操作中的在线边界检测;VLA 执行动作比熟练操作者慢,因此减少手动控制不必然等于缩短任务总时长。真机部分只覆盖五个任务、每任务五次试验;扫地任务中两个 GPT 基线都没给出可用意图、该任务全程遥操作;接管仍需操作者确认预测出的目标,并非完全无人干预。作者声明将发布 VI AMO、标注流程和 VIM 权重,本次材料中未见已发布的证据。

版本与核查范围

版本 2611.16419v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S4.SS1.p2.1;#S1.I1.i2;#S4.SS2.p3.1;#S5.SS3.p3.1;#S4.SS3.p2.1;#S5.p1.1;#S5.SS5.p5.1;#S5.SS6.p1.1;#S6.p2.1;#S1.p6.2