它是什么,解决什么问题
本主题覆盖同步、标定、质检、清洗、切分、标注、压缩、存储。它属于“数据与数据飞轮”,用于理解这一组能力、方法或产业对象的边界。
范围与比较维度
- 同步
- 标定
- 质检
- 清洗
- 切分
- 标注
- 压缩
- 存储
需要持续回答
- 把数据来源、质量、可用权利和具体能力增益连起来,比较每次有效迭代的总成本。
当前知识边界
本页为范围入口,代表路线与证据尚待补充。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
- HubEgo-100K v1.0:真实工位熟练劳动的第一视角视频数据集(作者发布版)
对做机器人本体软件与训练管线的工程师,这份数据最实用的是交付形态:目录表(逐片段一行,含任务类型、工作类别、贡献者与录制标识、时长、设备信息、手部可见率和完整性信号)与标注表(描述、指令、动作族、技能组、难度、场景类型、在任务上比例)可以直接读取用于筛选和配比,不必先下载全部视频;需要细看时再按片段拉取 MP4 视频和 MCAP 原生传感器流,而视频与传感器共享同一条时间轴,帧级 observation.state 里带加速度计与陀螺仪读数,可直接用于头部运动估计或视觉-惯性里程计一类的预处理。按任务类型分层的贡献者不重叠划分(按需申请)能让“对未见贡献者与环境的泛化”这句话被真正测到,而不只是看同一批人的新场景。 需要区分清楚的是:以上用法是论文提出的定位与建议,论文本身没有给出任何用该数据训练出的模型或机器人实验结果,本篇只做统计;手部可见率和在任务上比例是模型估计,标注由模型生成且未经人工审核;清洗与标注流水线未公开,论文里的统计全部由已发布的目录表与标注表算出,分析脚本需向作者索取。
- 美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统
对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。
- 我看到你想要什么:从视觉遥操作历史中解码分层操作者意图
对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。
- GenieSim 3.0 数据集:开放超 10,000 小时仿真操作数据,零样本真机迁移仍为发布方自述
这份材料改变的是"仿真数据只是预热素材"这一默认做法:发布方把仿真轨迹本身当作可直接训练的数据源交付,并用遵循 LeRobot 规范的目录与文件布局降低了接入改造。对机器人本体软件与训练流水线工程师来说,近期可用的部分是数据格式、传感流构成、任务目录组织与随仓库给出的检查点,不必从零搭采集流程。但"合成数据训练的任务成功率优于真实数据训练"目前只有发布方自述支撑,页面未给出数值、任务清单和对照条件,不能当作已验证的落地效果,更不能外推到通用操作能力。
- WorldBridge:桥接视频与动作,实现世界动作模型的任务泛化
对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。
- DynaFLIP:通过三模态动力学引导的表征重新思考机器人感知
对机器人本体软件工程师,这提供了一条"换视觉骨干"的路径:编码器在下游冻结、或只训练一个轻量注入模块即可复用,不必改动策略结构;预训练只需 RGB 视频,不需要机器人动作标注。作者更大的主张是:机器人泛化部分是一个感知问题,视觉表征应编码动力学与控制相关信息,而不只是视觉显著性。
- 先执行再回收:12 项任务上 7 种策略评测产生的 3,718 条已标注真机回合
价值在于把评测环节的副产品变成可复用的训练数据。对机器人本体软件工程师,这批样本的用处很具体:在同一硬件与任务设置下拿到多个策略的真实失败片段和人工标签,可以直接搭成功检测、回合级奖励模型和离线强化学习的数据管道。论文本身是一份采集与标注说明,并附上使用限制清单。
展开其余 13 条历史观察
- UMI-Live:面向野外双臂机器人数据采集的全栈开源系统
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- DiscoDemo 原始状态数据集(FMB-Round):插销入孔任务的仿真状态轨迹开源发布
价值在于把"演示生成"和"轨迹使用"解耦:开发者不必重启 Isaac Sim 里的生成器,就能直接拿到状态级数据,对同一批演示做物体与末端执行器轨迹分析、多样性与覆盖度分析,并用代码仓库中 FR3 模型的前向运动学把 joint_pos 还原为末端位姿。原始状态又与已发布的 Stage2 生成数据按序对应,可与图像等模态对齐合并处理。对数据工程和策略训练团队来说,这是一个可按 apache-2.0 下载取用的公开数据产物,而不只是论文里的一句描述。
- RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- FineART:双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐,为子任务预测与低层动作执行相结合的训练提供数据基础;这是发布方描述的训练用途,不等于已经证明通用能力提升。
- 重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号,而非强制的推理期文本前缀;其价值取决于监督是否可靠、是否与动作学习有效耦合。
- VLA 真的遵循指令吗?诊断视觉—语言—动作模型对“如何执行”指令的遵循能力
研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。
- KODA:面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
- ARC:面向机器人基础模型的推理配方
对机器人本体软件工程师,这是一条不靠堆数据的改造路径:不重新采数据、不重训基础模型,用自动生成的因果轨迹改造已有策略,改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
- HRDexDB:跨人类与多种机器人本体的4D灵巧抓取数据集
为研究共享物体上的跨本体抓取差异提供几何标注和示范—执行关联;作者实验支持将已记录机器人抓姿作为未见物体抓取的检索先验。
- EgoFound3R:具有逐点交互属性的世界空间端到端第一视角手部重建
把几何与交互属性解码合并,并减少重复场景聚合,为第一视角视频的大规模手部标注提供一条统一处理路线。
