跳至正文
原文导读 · 原标题中译

美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统

Meituan-Robotics-0: A Vision-Language-Action Foundation Model for Desktop Manipulation

材料发布 2026-11-13 · arXiv · 作者论文 · 核查 2026-11-13
图6:回滚(rollback)数据采集。圆点标出回滚锚点 t_1 与 t_2。蓝色波浪分支 (1) 和 (2) 是被替换掉的策略片段(τ⁻,I=0);实心橙色的 HIL(human-in-the-loop,人类在环)片段是它们的人类替代版本(τ⁺,I=1),修正后的执行继续走向 (3)。这些条件用于 CFG-DAgger。灰色片段表示其他自主执行部分。 图片出处
图8:事件驱动的具身智能体框架。异步的智能体循环把视觉观测转换为结构化描述,将其归并为事件,并在需要重新评估任务状态时触发 Planner(规划器);当前所处的子任务则对高频的 VLA(视觉—语言—动作)控制循环进行条件化。 图片出处

内容摘要

桌面操作机器人的瓶颈常常不在模型规模:不同来源数据的动作空间与本体互不兼容,策略出错后缺少纠错样本,只看当前画面的策略也留不住任务状态。美团 Meituan-Robotics-0(MR0)把视觉-语言-动作(VLA,把图像与语言指令映射成机器人动作)策略与事件驱动智能体装进同一套系统。

数据底座是 147 million 条视觉-语言样本加 15,060 小时机器人轨迹,覆盖 12 种本体;其中 7,530 小时(50.0%)为授权真机数据、3,235 小时(21.5%)为开源真机集 RoboDesk、4,295 小时(28.5%)为开源仿真数据。训练分三阶段:离散动作 token 预训练对齐多模态与机器人行为、流匹配中期训练迁移到跨本体连续控制、真机后训练。

新机制 Rollback 把被替换的策略片段与人工纠正片段配对,直接训练 CFG-DAgger,无需价值网络或优势标注;网口插线任务上该方法达 0.70 成功率与 0.90 进度分,同一 Rollback 数据下 RECAP 为 0.60 与 0.67。同等 HG-DAgger 后训练下,MR0 与 π0.5 的差距主要体现在网口插线,字母块与折叠任务成功率接近。

部署侧的统一末端执行器动作表示与异步动作块合并可直接借用;智能体只在事件改变任务进度或可行性时唤醒规划,两次定性部署显示可跨任务检索此前信息、条件恢复后继续执行。仿真侧,RoboTwin 2.0 总体成功率 93.6%,RoboDojo 成功率 15.73%、排第五。

点评

对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。

真机部分只覆盖三个任务、每个策略每任务 30 次试验,样本量小;智能体只有两次定性部署,没有成功率或失败率统计。RoboDojo 上总体成功率仅 15.73%、在作者给出的对比表内排第五。数据口径上,RoboDojo 一节自述约 13.6k 小时具身训练数据,与全文语料 15,060 小时不完全一致;语料中 50.0% 为授权真机数据,公开可用的只有 RoboDesk 与开源仿真部分。证据说明:本文取自 arXiv 预印本全文,摘要页与全文版本号不一致,同一链接滚动更新后内容可能变化;所有数字均为作者自报,未见第三方复现或独立验证。

版本与核查范围

版本 2611.08577v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;figcaption[22];#abstract1.1;#S3.SS2.SSS3.p6.1;#S5.SS2.SSS2.p3.1;#S5.SS2.SSS2.p1.1;#S1.p4.1;#S5.SS2.SSS3.p1.1;#abstract1.1;#S5.SS1.SSS0.Px1.p2.1;#S5.SS1.SSS0.Px2.p2.1;#S5.SS2.SSS1.p2.1