合成数据通过仿真、轨迹变换、渲染或生成模型构造样本。可执行状态—动作轨迹、带标签图像与视觉视频不是同一种训练资源。
| 路线 | 提供的信号 | 主要风险 |
|---|---|---|
| 脚本/示范扩增 | 任务轨迹与动作标签 | 依赖任务结构、资产和可执行性 |
| 域随机化 | 外观、物理与相机变化 | 随机化范围未覆盖真实偏差 |
| 生成视频/世界动作模型 | 视觉先验,部分方法联合动作 | 看似合理但接触/动作不一致 |
当前判断 · 2026-10-10 核查
窗口外背景 RoboTwin 2.0 v2 在 RDT/COBOT-Magic 四任务中,对比 10 条真机示范与其加 1,000 条合成轨迹:未见背景且杂乱时平均成功 9%→42%(+33 个百分点);但干净已见背景的 Click Bell 从 36% 降至 24%。因此混合数据可改善部分真机鲁棒性,收益并非逐项必然。依据与边界
WALL-WM v2 的视频指标、真机 Task Progress 和仿真二值成功分开报告,不能作为上述混合数据的同协议对照。依据与边界
比较时固定真实数据量、任务协议及评测集,同时考虑资产、标注、算力成本;当前未得到统一成本最优配比。环境视角见 仿真与 Sim2Real。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
- Ego2Sim2Humanoid:把第一视角眼镜录像转成经物理验证的人形机器人移动操作训练数据
对做本体软件和数据管线的工程师,这条链路值得看的地方在两端。采集端从"受训操作员+真机+动捕"换成"人戴眼镜走一遍",数据采集的门槛结构完全不同;判定端把"接触到底成不成立"交给物理仿真——够不着、夹不住的轨迹先在仿真里被淘汰,再上真机微调,能减少无效采集和真机试错。图像、本体感知与动作同源于一条仿真轨迹,训练数据不需另外做时序对齐。 动作侧并未另起炉灶:训练标签就是闭环的全身动作 token 加手部关节指令,也就是在仿真里真正移动了物体、同时保持平衡的动作序列;推理端沿用既有链路,GR00T N1.7(3B)输出 78 维动作块,由冻结的 SONIC 解码器在 G1 上执行,本体控制栈需要改的只是数据来源。 现实约束也摆在眼前:数据可用性取决于物体好不好抓,薄壁帽子的录像在进入仿真前就被大量丢弃(154 段只剩 59 段);真机上抬瓶成功率 45%、戴帽 25%,失败同样集中在抓取阶段。
- GenieSim 3.0 数据集:开放超 10,000 小时仿真操作数据,零样本真机迁移仍为发布方自述
这份材料改变的是"仿真数据只是预热素材"这一默认做法:发布方把仿真轨迹本身当作可直接训练的数据源交付,并用遵循 LeRobot 规范的目录与文件布局降低了接入改造。对机器人本体软件与训练流水线工程师来说,近期可用的部分是数据格式、传感流构成、任务目录组织与随仓库给出的检查点,不必从零搭采集流程。但"合成数据训练的任务成功率优于真实数据训练"目前只有发布方自述支撑,页面未给出数值、任务清单和对照条件,不能当作已验证的落地效果,更不能外推到通用操作能力。
- AnyCamVLA:面向视觉-语言-动作模型的零样本相机适配
对做机器人本体软件和部署的团队,实用点在于把相机适配做成一个可插拔的输入模块:策略权重完全不动,装机时标定一次就能换视角,省掉重新采演示数据、再训练一轮策略的成本,也避免微调带来的遗忘。
- DiscoDemo 原始状态数据集(FMB-Round):插销入孔任务的仿真状态轨迹开源发布
价值在于把"演示生成"和"轨迹使用"解耦:开发者不必重启 Isaac Sim 里的生成器,就能直接拿到状态级数据,对同一批演示做物体与末端执行器轨迹分析、多样性与覆盖度分析,并用代码仓库中 FR3 模型的前向运动学把 joint_pos 还原为末端位姿。原始状态又与已发布的 Stage2 生成数据按序对应,可与图像等模态对齐合并处理。对数据工程和策略训练团队来说,这是一个可按 apache-2.0 下载取用的公开数据产物,而不只是论文里的一句描述。
- 一次扫描就够:语言引导导航的无示范适配与真机验证
对机器人本体软件开发者,最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据,换成一次扫描加一次人工标定:同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路,而不是他们的模型或数字;换用自家策略与本体仍需自行复现,本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
- V2-STRep:以视觉语言模型为基础的结构化任务表示,从生成视频中获取可复用机器人技能
对机器人软件开发者,其参考价值是把必须保持的任务约束与可供规划调整的运动自由度分开表达,而不是要求机器人逐帧追随全部视频姿态。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
展开其余 11 条历史观察
- NVIDIA 上线 Cosmos3-Nano 的 LIBERO-10 动作策略单元 D2_s43(训练种子 43):标准场景 93.3%,扰动场景 85.5%
这次变更是把“用生成模型改写演示数据”的收益评估,做成了可下载、可对照的公开权重:机器人本体软件工程师可直接加载这条 LIBERO-10(10 任务的操作基准)策略,在同一批初始状态上比较标准与扰动场景的成功率,并按模型卡要求配上重复样本对照,判断自己的数据流程里是否值得引入合成数据。复现成本也被写明:数据不随权重分发。该权重作为 nvidia/Cosmos3-Nano 的衍生物,按 NVIDIA 开放模型许可证发布。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- GRAIL:从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线;作者将其定位为遥操作和动作捕捉的补充,而非替代。
- LIBERO-PeRM:个性化机器人操作基准评测
该基准为区分“做成任务”与“按偏好执行”提供受控评测条件,有助于定位个性化操作的失败模式,而非仅依据任务成功率判断能力。
- KODA:面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- 面向端到端驾驶安全评估的可控、照片级真实行人危险动作生成
为端到端驾驶提供兼顾行人动作控制与视觉渲染的风险场景生成路径,可用于部署前安全测试。
- 连接前沿推理与机器人执行:从自主示范生成到密集语言监督
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
- InfiNoVA:面向视角不变机器人策略的无限新视角增强
提供了一条不改策略架构、通过保持状态—动作对应关系的几何视角增强改善相机鲁棒性的数据路线。
- CARE:面向视觉—语言—动作策略的经验引导原子纠正执行
将“从哪些失败中学习”与“何时调用纠正动作”分开设计,为VLA失败恢复提供了可分别检验的数据与执行机制。
- IM-ENGINE:用于具身数据生成的图像编辑
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。
关联报告
来源与阅读
- RoboTwin 2.0 v2 · §4.4 / Table 4 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- WALL-WM v2 · §7 / §9.5 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RoboCasa README · 固定 commit / News · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
