它是什么,解决什么问题
本主题覆盖真机遥操、主从臂、VR、可穿戴、动捕、人工纠正。它属于“数据与数据飞轮”,用于理解这一组能力、方法或产业对象的边界。
范围与比较维度
- 真机遥操
- 主从臂
- VR
- 可穿戴
- 动捕
- 人工纠正
需要持续回答
- 把数据来源、质量、可用权利和具体能力增益连起来,比较每次有效迭代的总成本。
当前知识边界
比较数据来源时仍需补齐跨任务、跨本体的成本和效果证据。
证据补充 · 2026-10-10
HiFi-UMI v1 把位姿精度、双手相对姿态、同步与视野一起设计。Table 4 比较三个主干、七种条件,每条件四任务、每任务 40 次,支持把采集保真与迁移一并评估;UMI 每任务 3,200 条、遥操 300 条,并非等样本比较,不能从中推出采样效率优劣或任何任务都无需机器人适配数据。采集评估应同时保留轨迹质量、转移成功与后训练预算,不能只记小时数。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- SixthSense:仅靠本体感知的全身接触力旋量估计(人形机器人)
对机器人本体与控制软件工程师,这套方案把"接触感知"做成可独立接入的模块:输入只有已有的关节编码器与 IMU 历史,输出是连杆级接触门控和六维力旋量,作者在 Unitree G1 上用它做了碰撞检测与接触触发的人机物理交互演示,也可作为下游判断的输入。要留意的是,这些数字全部出自作者自测,真机接触真值只覆盖站立工况,空间分辨率止于连杆级。
- HubEgo-100K v1.0:真实工位熟练劳动的第一视角视频数据集(作者发布版)
对做机器人本体软件与训练管线的工程师,这份数据最实用的是交付形态:目录表(逐片段一行,含任务类型、工作类别、贡献者与录制标识、时长、设备信息、手部可见率和完整性信号)与标注表(描述、指令、动作族、技能组、难度、场景类型、在任务上比例)可以直接读取用于筛选和配比,不必先下载全部视频;需要细看时再按片段拉取 MP4 视频和 MCAP 原生传感器流,而视频与传感器共享同一条时间轴,帧级 observation.state 里带加速度计与陀螺仪读数,可直接用于头部运动估计或视觉-惯性里程计一类的预处理。按任务类型分层的贡献者不重叠划分(按需申请)能让“对未见贡献者与环境的泛化”这句话被真正测到,而不只是看同一批人的新场景。 需要区分清楚的是:以上用法是论文提出的定位与建议,论文本身没有给出任何用该数据训练出的模型或机器人实验结果,本篇只做统计;手部可见率和在任务上比例是模型估计,标注由模型生成且未经人工审核;清洗与标注流水线未公开,论文里的统计全部由已发布的目录表与标注表算出,分析脚本需向作者索取。
- WorldOracle:对照真实执行评测动作条件世界模型
对做机器人本体软件和模型训练的人,这套基准给出的是一个可直接上手的流程:把真机录下的动作序列开环回放给自己的世界模型,再把预测画面与配对的真实执行逐项对比,从而把"动作跟上了吗""结果对了吗""随时间退化多少"分开看。GE-Sim 2.0 在 AgiBot G2 全程评测中多视角动作一致性 96.96、物理状态正确性只有 60.26,说明只看画面质量或只看轨迹贴合都会漏掉真正的失败。作者声明提供覆盖四项指标的评测工具包与排行榜,这属于作者自建的评测体系与开放产物;本次材料只包含该论文及其排行榜说明,未见独立第三方的复现或交叉验证。
- ACE-CaP-0:体验时代下的真实世界代码即策略
对写机器人策略的工程师,这篇工作把“经验从哪来”当成开发流程的一等公民:示教做成按需索取而不是开场就塞一堆,仿真放进真机反馈回路而不是先离线刷完再迁移——在本文的充电器插入任务上,顺序式“先仿真后迁移”最终 0% 成功,按需仿真为 100%;最后把策略冻结成程序,运行时不需要人或编码智能体在线决策。预算上也要有预期:按需仿真会多烧输出 token,每个任务还要预留人工协助的场景重置次数,采集示教所用的重置不计入该预算。
- HARP-Bench:在活动的人类周围评测机器人操作
对机器人本体与策略开发者,HARP-Bench 把「旁边有活人」从不可控干扰变成可复现、可造数据的评测维度,并给出一套安全指标;它同时说明,只看任务成功率不足以判断机器人在人身边的行为,需要另看碰撞与间距。
- HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人
给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。
- 先执行再回收:12 项任务上 7 种策略评测产生的 3,718 条已标注真机回合
价值在于把评测环节的副产品变成可复用的训练数据。对机器人本体软件工程师,这批样本的用处很具体:在同一硬件与任务设置下拿到多个策略的真实失败片段和人工标签,可以直接搭成功检测、回合级奖励模型和离线强化学习的数据管道。论文本身是一份采集与标注说明,并附上使用限制清单。
- UMI-Live:面向野外双臂机器人数据采集的全栈开源系统
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
展开其余 9 条历史观察
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- DemoStream:面向自动化示范学习的批量任务与运动规划优化
作者实验强调:规划能完成任务不等于其示范适合模仿学习,示范优化应关注下游策略效果。
- FineART:双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐,为子任务预测与低层动作执行相结合的训练提供数据基础;这是发布方描述的训练用途,不等于已经证明通用能力提升。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- HRDexDB:跨人类与多种机器人本体的4D灵巧抓取数据集
为研究共享物体上的跨本体抓取差异提供几何标注和示范—执行关联;作者实验支持将已记录机器人抓姿作为未见物体抓取的检索先验。
- DITTO-X:面向灵巧操作与人工干预的正向和反向遥操作
研究将接管前的人机手形匹配纳入遥操作接口设计,为保持已有抓握状态的人工干预提供了具体机制。
- TimelyDAgger:用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
- RoboChrono:面向流式任务理解的真实机器人基准
该基准的诊断价值在于分开考察视觉识别与时间进度理解,避免仅用汇总分数掩盖能力差异。
关联报告
来源与阅读
- HiFi-UMI:数据保真度影响能否直接部署 · 2607.25895v1 · 2026-10-10 报告扩编定向核查;§3、§6、Table 4;作者证据,未独立复现。
