核心跟进 · 真实经验、合成样本与交互环境怎样支持能力迭代?
主要路线与入口
| 方向 | 关注什么 |
|---|---|
| 真实与人类数据 | 模态、采集、来源:动作对应关系、成本和可用权利 |
| 仿真与合成 | 仿真与 Sim2Real、合成数据:训练环境、样本生成与迁移 |
| 工程与闭环 | 数据工程、治理、使用、数据飞轮:从失败到可验证的改进 |
进展与证据边界
公开样本核查:2026-10-10。Isaac Lab 3.0 EA 是窗口内多后端工作流变化;窗口外 RoboTwin 2.0 的双臂真机对照支持部分合成数据收益,也有退步条件。工具规模、样本数量和真机增益须分别判断。
RoboCasa 的 horizon 与标注在窗口前已调整,不能将旧分数与新协议直接排名。具体条件见 仿真与 Sim2Real、合成数据;四线比较见 技术基线。
与相邻领域的关系
本域关注数据与环境,优化方法归 K03,迁移后的身体能力归 K04,基准协议归 K09。
训练、适配与算力部署 · 本体、感知与执行能力 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- SixthSense:仅靠本体感知的全身接触力旋量估计(人形机器人)
对机器人本体与控制软件工程师,这套方案把"接触感知"做成可独立接入的模块:输入只有已有的关节编码器与 IMU 历史,输出是连杆级接触门控和六维力旋量,作者在 Unitree G1 上用它做了碰撞检测与接触触发的人机物理交互演示,也可作为下游判断的输入。要留意的是,这些数字全部出自作者自测,真机接触真值只覆盖站立工况,空间分辨率止于连杆级。
- TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
- 独立研究:Robotic World Model 仿真器与行走策略的机器人层面测试
给做本体软件与仿真评测的工程师:仿真器的预测精度不能直接当作“策略会走”的证据,需要另加策略闭环测试作为另一类证据;同时要分清证据层级——在仿真器里闭环跑一遍策略仍不等于真机验证。本次材料里全部结论都止步于 MuJoCo 仿真内。
- 面向具身操作的零样本组合泛化:用几何监督跨机器人复用演示
对做本体软件和部署的工程师,实用价值是把"关节标签"换成一个可标定、可冻结的中间层:共享动作坐标 + 每台机器人自己的原生解码器。带来的变化是,以前没采过的机器人—技能组合,可以由别的机器人的演示提供监督,而三个策略骨干沿用自己原有的动作模型结构、流目标与观测条件,改动集中在动作接口这一层。 但要说清落地成本:这不等于"策略侧不用动"。策略必须在新的共享动作坐标上重新训练(接口只提供共享动作目标与原生实现,观测相关的技能判断仍由策略主干从图像、指令和本体状态中学习),训练完成后由目标机器人的解码器把预测动作还原成本体的关节指令去执行;若采用 Full 变体,策略阶段还要额外开启几何(FK)损失,这项损失通过冻结但保留梯度的解码器与 FK 更新策略本身,需要单独训练与评估。所以准确的描述是:骨干架构、流目标、观测条件与训练曝光量不变,动作接口与策略训练适配需要做。 接入点也很明确:每台机器人的运动学描述、关节限位、安装变换与工具标定必须已知;接口层训练完即冻结,运行时按机器人身份切换对应的原生解码器与归一化,动作生成路径不变。另外该方法要求每台机器人都有自己的原生演示数据(每台被评测机器人都出现在策略训练中),因此不能直接用于完全没有任何本体数据的机器人。 另外两点有助于判断能否落地:一是跨机器人监督只是位姿级约束,轨迹连续性、避碰和是否真正接触成功仍要在实际执行中检验;二是论文自己分析指出,只做原生重建不足以确定外机解码结果的物理含义,这正是必须显式引入几何对应的原因。
- 从温度受限到电池受限:不测温度的 Unitree Go2 步态策略
对做机器人本体控制与部署的工程师,可借鉴之处很具体:电机热约束可以在训练阶段用奖励解决,不必把温度塞进策略观测,也不必等真机过热再补救——路径是"先为自家机型辨识一个热模型,再把模型预测的稳态温度作为一项奖励加进现有的行走策略训练",策略输入和部署代码不需要大改,评估结果也不受电机起始冷热影响。 落到工程上有几个前提。其一,每款机型都要自己采数据做辨识:本文热模型只用 Go2 一台机器人的两段运行数据辨识,22 个参数在论文中完整列出,可以照着复现;辨识时先用电气量把参数锚定到物理量纲,再拟合温度。其二,要跑通仿真到实机的迁移,并保证步态能力不被牺牲:论文把新奖励加进原有的行走策略训练流程,并在真机上跑通了含楼梯和坡道的工厂环线。其三,奖励权重要在热余量和跟踪精度之间自己权衡:论文部署的权重在楼梯上多出 18–19 % 的速度跟踪误差,权重再往更激进的方向调时楼梯、粗糙地形和下坡的误差继续上升,而热余量只多 2–4 °C。 范围也要说清:验证只在 Go2 这一种四足机型上做,跨机验证仅涉及另一台 Go2,不能直接外推到双足或人形;带载时按实测步态统计预测的最热稳态温度仍比仿真均值高 4.6 °C(空载高 0.8 °C)。
- HubEgo-100K v1.0:真实工位熟练劳动的第一视角视频数据集(作者发布版)
对做机器人本体软件与训练管线的工程师,这份数据最实用的是交付形态:目录表(逐片段一行,含任务类型、工作类别、贡献者与录制标识、时长、设备信息、手部可见率和完整性信号)与标注表(描述、指令、动作族、技能组、难度、场景类型、在任务上比例)可以直接读取用于筛选和配比,不必先下载全部视频;需要细看时再按片段拉取 MP4 视频和 MCAP 原生传感器流,而视频与传感器共享同一条时间轴,帧级 observation.state 里带加速度计与陀螺仪读数,可直接用于头部运动估计或视觉-惯性里程计一类的预处理。按任务类型分层的贡献者不重叠划分(按需申请)能让“对未见贡献者与环境的泛化”这句话被真正测到,而不只是看同一批人的新场景。 需要区分清楚的是:以上用法是论文提出的定位与建议,论文本身没有给出任何用该数据训练出的模型或机器人实验结果,本篇只做统计;手部可见率和在任务上比例是模型估计,标注由模型生成且未经人工审核;清洗与标注流水线未公开,论文里的统计全部由已发布的目录表与标注表算出,分析脚本需向作者索取。
- 《Lazy-MOSAIC:用学到的技能效果世界模型加速以技能为中心的操作规划》
对做机器人本体软件的工程师,这套做法是把「便宜模型筛选、物理仿真把关」接到技能库规划器上:便宜模型决定哪些技能值得占用一次仿真调用,仿真器保留最终验证权,因此能压低仿真调用量而不放弃基于物理仿真的安全前提。前提也很明确——工作空间几何和物体类型须预先已知,学习模型针对该半结构化环境离线训练,作者把跨工作空间泛化列为下一步。
- WorldOracle:对照真实执行评测动作条件世界模型
对做机器人本体软件和模型训练的人,这套基准给出的是一个可直接上手的流程:把真机录下的动作序列开环回放给自己的世界模型,再把预测画面与配对的真实执行逐项对比,从而把"动作跟上了吗""结果对了吗""随时间退化多少"分开看。GE-Sim 2.0 在 AgiBot G2 全程评测中多视角动作一致性 96.96、物理状态正确性只有 60.26,说明只看画面质量或只看轨迹贴合都会漏掉真正的失败。作者声明提供覆盖四项指标的评测工具包与排行榜,这属于作者自建的评测体系与开放产物;本次材料只包含该论文及其排行榜说明,未见独立第三方的复现或交叉验证。
展开其余 109 条历史观察
- SALA:用语言描述对齐人机隐式动作,让通用人类视频成为可扩展的机器人策略监督来源
对做机器人本体软件的工程师,有用处的有两点。一是监督来源可以按小时计量:先用一批带原子动作描述的数据训一个跨本体的隐式动作分词器,之后人和机器人的视频都被映射到同一套语义对齐的动作编码上,策略用同一套编码同时从两类数据里学——预训练阶段可以用通用人类视频补充机器人数据而不必新增遥操作采集,新任务则能在固定遥操作预算之外用便宜的人类演示补强(真机上固定遥操作演示、逐步增加任务相关人类演示,平均成功率 53.75%→72.5%)。二是部署侧不增加负担:教师分词器和未来帧只在训练时使用,部署时策略只看当前观测。代价是流程里多了一个要单独训练和维护的分词器环节,它要求为训练片段准备原子动作描述,而策略本身不吃这些描述、只从视频帧学习。需要提醒的是,本次核查材料中的所有数字都出自作者自测的仿真与单台真机实验,没有独立复现证据。
- Ego2Sim2Humanoid:把第一视角眼镜录像转成经物理验证的人形机器人移动操作训练数据
对做本体软件和数据管线的工程师,这条链路值得看的地方在两端。采集端从"受训操作员+真机+动捕"换成"人戴眼镜走一遍",数据采集的门槛结构完全不同;判定端把"接触到底成不成立"交给物理仿真——够不着、夹不住的轨迹先在仿真里被淘汰,再上真机微调,能减少无效采集和真机试错。图像、本体感知与动作同源于一条仿真轨迹,训练数据不需另外做时序对齐。 动作侧并未另起炉灶:训练标签就是闭环的全身动作 token 加手部关节指令,也就是在仿真里真正移动了物体、同时保持平衡的动作序列;推理端沿用既有链路,GR00T N1.7(3B)输出 78 维动作块,由冻结的 SONIC 解码器在 G1 上执行,本体控制栈需要改的只是数据来源。 现实约束也摆在眼前:数据可用性取决于物体好不好抓,薄壁帽子的录像在进入仿真前就被大量丢弃(154 段只剩 59 段);真机上抬瓶成功率 45%、戴帽 25%,失败同样集中在抓取阶段。
- TMA:通过触觉驱动的电机自适应实现仿真到现实的强力人形机器人操作
给机器人本体与控制软件工程师的用处在于两点:一是把触觉从“有无接触”的开关信号升级为带方向的力信息(法向载荷、锥角、剪切方向),二是用约 2 秒的触觉历史做在线适配,让策略在接触条件未知时自己调整发力方式。门把手这类接触主导任务可以纯仿真训练后零样本上真机,省掉真机数据采集与微调环节;但结论目前只覆盖该任务、该本体和很小的试验规模。
- PingpongDuo:带安全团队协作的敏捷人形乒乓球双打
对做机器人本体控制和策略上线的工程师,这套做法把“多台机器人共享狭窄空间”的协调问题拆成了可分层实现的结构:上层用带风险检查的联合站位选择加按角色加权的回退来管互撞;下层把移动与击球分开训练,并显式用彼此产生的身体状态做初始化,以支持技能之间的连续交接;手臂残差那条路还给出一个具体提醒——球拍跟踪误差更小未必回球更好,需要按实际回球结果来修正击球动作。
- 美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统
对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。
- ACE-CaP-0:体验时代下的真实世界代码即策略
对写机器人策略的工程师,这篇工作把“经验从哪来”当成开发流程的一等公民:示教做成按需索取而不是开场就塞一堆,仿真放进真机反馈回路而不是先离线刷完再迁移——在本文的充电器插入任务上,顺序式“先仿真后迁移”最终 0% 成功,按需仿真为 100%;最后把策略冻结成程序,运行时不需要人或编码智能体在线决策。预算上也要有预期:按需仿真会多烧输出 token,每个任务还要预留人工协助的场景重置次数,采集示教所用的重置不计入该预算。
- 我看到你想要什么:从视觉遥操作历史中解码分层操作者意图
对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。
- GenieSim 3.0 数据集:开放超 10,000 小时仿真操作数据,零样本真机迁移仍为发布方自述
这份材料改变的是"仿真数据只是预热素材"这一默认做法:发布方把仿真轨迹本身当作可直接训练的数据源交付,并用遵循 LeRobot 规范的目录与文件布局降低了接入改造。对机器人本体软件与训练流水线工程师来说,近期可用的部分是数据格式、传感流构成、任务目录组织与随仓库给出的检查点,不必从零搭采集流程。但"合成数据训练的任务成功率优于真实数据训练"目前只有发布方自述支撑,页面未给出数值、任务清单和对照条件,不能当作已验证的落地效果,更不能外推到通用操作能力。
- AnyCamVLA:面向视觉-语言-动作模型的零样本相机适配
对做机器人本体软件和部署的团队,实用点在于把相机适配做成一个可插拔的输入模块:策略权重完全不动,装机时标定一次就能换视角,省掉重新采演示数据、再训练一轮策略的成本,也避免微调带来的遗忘。
- SSR:面向开放世界的稳健对称人形行走(作者论文,arXiv:2605.30770v2)
对做机器人本体软件的工程师,可直接借鉴的有三点:一是把落脚安全判断从"触地之后"提前到"摆动腿还在半空",这属于奖励与信号设计层面的改动,不必替换整套控制栈;二是把左右对称增广从输入级(原始深度图)挪到潜变量级,作者称相对对照基线 InpSym 峰值显存 28.8 GB→23.7 GB、单卡可训;三是"深度图 + 单策略 + 不建图"是一套可照抄的落地组合:腰部 D435i 以 60 Hz 采前向深度,640 × 360 裁剪到 36 × 36,Jetson AGX Orin 上 50 Hz 推理。跨平台结果提示方法可换到不同尺寸本体,但需要在目标机型上从头重训,而不是直接迁移同一策略。
- SuperMimic:用单个可微世界模型扩展人形机器人全身控制
对做本体控制栈和训练基础设施的工程师,这篇论文变动的是成本结构:策略更新不再吃仿真器吞吐,rollout 在神经动力学里完成,所以「加卡换提升」这条经验不再成立——对照里 PPO-Sim 从四卡到八卡几乎无增益,而 SuperMimic 单卡 1.2 小时就达到目标回报 0.82;作者报告的对照基线 SONIC 需要 128 张 GPU 跑约 168 小时、约 21,000 GPU 小时。训练栈上要接的东西相对明确:从仿真器记录的转移拟合一个共享的可微世界模型,与策略交替更新;仿真器本身不需要可微,现有的刚体仿真器可以原样保留,这一点对已有 MuJoCo 系仿真管线的团队尤其重要,因为接触不光滑的刚体仿真本来就难做梯度。部署侧的证据是作者自己的真机演示(Unitree G1,一个通用跟踪器、不做逐动作调参,覆盖移动、接触丰富动作和杂技动作),属于论文报告的落地结果,不是厂商声明,但目前只到定性演示层面,没有实机的量化指标。另一条对写控制栈的人有用的经验是价值网络(critic,用于估计想象视野之外的回报)的作用:作者报告带 critic 时可以在更短的想象视野下训练,而且仿真推扰下带 critic 的策略能站稳、不带 critic 的会持续踉跄并在更高推扰速度下摔倒——不过这只是仿真证据,作者没有给出实机推扰的量化对比。
- 学习面向通用灵巧操作的异构触觉表征(LingBot-Touch,arXiv:2611.12806v1)
对机器人本体与策略软件工程师:触觉编码器可以作为一个冻结的外挂模块插进后训练阶段,把传感器型号差异留在编码器内部,策略侧只需把触觉 token 当作额外条件输入,不必为每款传感器重训策略。作者报告的参数增幅远低于原策略的百分之五分之一,因此主要代价在接口改造而非重训策略。数据侧,作者把操作者佩戴触觉手套的录制与遥操作机器人手的录制放在同一套语料里训练,跨传感器迁移是这项工作的明确设计目标(属于作者主张,尚无独立复现)。落地前需注意:论文只在 Sharpa Wave 与 XHand1 两种手型、指尖区域上验证;电容式传感器未进入预训练,手掌与手指其他部位的接触表征不足;编码器层面的通用对照只有 FTP-1 一项,且作者为它单独训练了传感器适配器。跨型号复现前,建议在自己的手型与传感器上先做小规模验证。
- 真实与仿真数据的 VLA 适配:机器人国际象棋案例研究
对机器人本体软件工程师,这篇论文给出几条可直接照做的判断:挑检查点只能看闭环成功率,验证损失和开环动作误差在这里会选错;比较检查点前必须做一次短的学习率冷却,否则差距可达 31 个百分点;真机演示不足时先用仿真演示预训练,128 条真实演示的量级上仍有明显收益;用策略自身轨迹继续训练这条路,在这篇论文的设置里没测出优于纯行为克隆的收益,可先暂缓投入。
- ScanDreamer:面向四旋翼导航的地图接地世界模型
对做飞行策略的工程师,实用点是:把机器人本来就有的位姿、历史观测和传感器朝向显式写成一张占据图,让进度奖励和“想象”都挂在地图上,而不是指望网络在隐状态里自己记住;同等交互预算下成功率更高、碰撞更少,训练所需数据量也更低。
- HARP-Bench:在活动的人类周围评测机器人操作
对机器人本体与策略开发者,HARP-Bench 把「旁边有活人」从不可控干扰变成可复现、可造数据的评测维度,并给出一套安全指标;它同时说明,只看任务成功率不足以判断机器人在人身边的行为,需要另看碰撞与间距。
- 用检索到的引导做零样本 VLA 适配:RAGu 冻结模型权重,把跨域演示变成轨迹约束
对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。
- ReSkill:面向机器人操作的选择性自我改进
对机器人本体软件开发者,这套流程的价值在于把"改进"变成可审计的代码改动:失败被定位到具体节点和原因,候选改动经完整任务评估与配对比较后才被冻结,运行期零外部模型调用;验证过的技能和任务图留在库里供下一个任务复用——后加入任务中 39% 的任务专属函数直接沿用已有实现。
- HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人
给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。
- WorldBridge:桥接视频与动作,实现世界动作模型的任务泛化
对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。
- PrimeSim:可当机器人仿真器运行的动作条件多视角世界模型,Hugging Face 开放权重与训练/推理代码
对机器人本体软件程序员最直接的好处是:不必先搭建物理仿真环境,就能按自身动作预测多视角画面变化,可在接入真机前先看动作后果;仓库同时提供训练与推理代码,微调可从中途训练权重起步,推理用第 4 阶段少步权重。其定位是生成式仿真替代方案,模型卡未给出物理精度,也没有仿真到真实(Sim2Real)的验证数据,模型卡所述基准成绩属厂商自述而非已验证的落地效果。
- DexHOT:把灵巧操作的目标从物体位姿换成手-物构型迁移
对做灵巧手控制与本体软件的工程师,最值得借鉴的是目标接口:把"目标"从物体位姿扩展为手-物关系(论文用一个杯子的例子说明只指定物体状态是不够的)。实现上,上层由贪心规划或一次人类演示给出构型子目标,子目标以 1 Hz 更新;下层一个冻结策略在 30 Hz 上闭环跟踪,负责中间手部动作、手指步态和换握,物体运动与最终手部摆放都能被显式指定。上游来源(规划或演示)与底层控制实现分开,换上游来源时不必重写底层控制。文中所有成功率均为作者在自建基准与自测协议下的自评,尚未见独立复现。
- 在 VLA 中桥接表征与动作空间,实现人机迁移(H2RB)
对机器人本体软件开发者,用处很直接:目标机器人数据不够时,可先用人手视频补充新物体和新技能的监督,而不必强行让人与机器人的动作参数一一对齐;代价是训练管线里要加一套按本体分支的动作隐变量分词器和一路几何回归头。论文给出的量级说明,这类混合训练确实能补上源机器人数据里没有的行为。
- DynaFLIP:通过三模态动力学引导的表征重新思考机器人感知
对机器人本体软件工程师,这提供了一条"换视觉骨干"的路径:编码器在下游冻结、或只训练一个轻量注入模块即可复用,不必改动策略结构;预训练只需 RGB 视频,不需要机器人动作标注。作者更大的主张是:机器人泛化部分是一个感知问题,视觉表征应编码动力学与控制相关信息,而不只是视觉显著性。
- ROOF:在头顶障碍约束下学习人形机器人的跌倒恢复
对做本体控制与策略部署的开发者,有三处结构可直接借鉴。一是输入侧:几何信息只在训练时用来算奖励,部署时策略只吃机器人自身状态(93 维本体感知),不必再向部署环境索取几何或接触信息,接触也只是训练信号。二是奖励侧:几何引导只反馈“有没有让出空间”,不指定逃离方向或接触顺序,所以同一条策略能应付训练里没见过的家具与多物体布置(真机 150 次尝试中成功 95 次)。三是实现细节:先验得分与起身、平滑项相乘,执行成本与逃离项用加法,因此先验得分低时逃离反馈仍然保留;关节停滞成本用来抑制机器人持续高力矩顶住障碍却几乎没有关节运动的情况。另外要注意,本次材料能比的只有“去掉几何引导”这一项(18.9% 对 88.5%),其余奖励项各自贡献多少无法从材料判断;真机的 95 次成功是次数口径,不能直接当成与仿真同口径的百分比。
- 先执行再回收:12 项任务上 7 种策略评测产生的 3,718 条已标注真机回合
价值在于把评测环节的副产品变成可复用的训练数据。对机器人本体软件工程师,这批样本的用处很具体:在同一硬件与任务设置下拿到多个策略的真实失败片段和人工标签,可以直接搭成功检测、回合级奖励模型和离线强化学习的数据管道。论文本身是一份采集与标注说明,并附上使用限制清单。
- 基于能量的策略编排(Energy-Based Policy Orchestration)
对机器人本体软件工程师,EPO 可作为高层规划与已有低层控制器之间的一层运行时适配:不改低层策略,只在运行时按状态挑策略并微调下发的低层目标;新增技能时只需为该策略补一个能量模型(约 30 GPU 分钟),而不是重训策略或维护一个需要随策略库变更重训的集中式调度器。它更适合已经训出多个互补控制器(精度型、鲁棒型、站立型)、但缺少统一取舍机制的团队。
- 视语言动作模型配对评测中的测试状态同一性验证
给做仿真评测的机器人工程师一条前置动作:日志里记录解析出的初始状态身份(可加场景指纹),先跑一遍完整性检查再计算配对统计,否则回合编号相同也可能不是同一个场景。这是对评测环节的排查建议,不是对任何已发表结果或榜单的否定。
- NVIDIA Cosmos3-Nano-Sim-Auto:用 Cosmos 做面向物理 AI 的交互式世界仿真
对自动驾驶与机器人软件开发者,这次的关键变化是闭环输入直接来自策略自身的规划轨迹,且相机与激光雷达是联合生成的(官方称用于支撑空间与时间一致性),因此多传感器感知栈与驾驶策略能在同一次 rollout(一次连续生成)里一起评估,而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU,模型卡未提及嵌入式或车端部署,因此按现有公开信息,它更适合放在数据中心侧跑仿真生成数据,而不是直接装进机器人本体。
- SPARK:通过物理重观测实现自我纠正的具身记忆
对做机器人本体软件的工程师,这套“先诊断、再定点重访、最后增删改”的循环可以直接当作地图记忆的维护范式:审查不需要真值、也不绑定某个具体提问,重访预算可以按区域价值分配;合并后存储比只追加少 13–41%。代价是每轮纠正要额外飞 6–23 个视点。注意三种合并规则的增益几乎相同(+0.294 到 +0.296),说明收益来自重新观测拿到的新证据,而不是合并策略本身。
- HandMimicX:通过以物体为中心的策略从第一视角视频学习类人灵巧操作
对做机器人本体软件的工程师,这套流程把“复刻人手轨迹”换成“把物体送达目标状态”:一条第一视角视频即可产出可换位复用的策略,手部姿态又受真实演示的接触约束而不是自由漂移;预训练+按任务微调,以及 DAgger 蒸馏,给出了从仿真训练过渡到真机部分观测的常规接法。
- UMI-Live:面向野外双臂机器人数据采集的全栈开源系统
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
- 究竟有多少开放机器人数据集真能训练出机器人:对 Hugging Face 上 400 个 LeRobot 数据集的普查
它给出一把可复用的筛子:判断一个公开机器人数据集能否用于真机训练时,先看演示片段数量、是否标注为仿真或评估、是否只覆盖同一类机械臂本体,而不是看平台上挂了多少标签。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- DiscoDemo 原始状态数据集(FMB-Round):插销入孔任务的仿真状态轨迹开源发布
价值在于把"演示生成"和"轨迹使用"解耦:开发者不必重启 Isaac Sim 里的生成器,就能直接拿到状态级数据,对同一批演示做物体与末端执行器轨迹分析、多样性与覆盖度分析,并用代码仓库中 FR3 模型的前向运动学把 joint_pos 还原为末端位姿。原始状态又与已发布的 Stage2 生成数据按序对应,可与图像等模态对齐合并处理。对数据工程和策略训练团队来说,这是一个可按 apache-2.0 下载取用的公开数据产物,而不只是论文里的一句描述。
- RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。
- H2RBench:评估人类到机器人迁移的实到仿真基准
对机器人本体软件开发者,这是一套把“哪种人机迁移方法、人类视频给多少”放进同一套可重复仿真实验的协议,也提示了一份“哪些行为能迁移、哪些不能”的清单——人类视频主要改善高层空间意图类行为,接触密集的插入等任务甚至会变差;不同方法随人类数据量变化的曲线差异又说明,加数据的收益强烈依赖任务结构和该方法跨越形态差异的策略。
- 一次扫描就够:语言引导导航的无示范适配与真机验证
对机器人本体软件开发者,最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据,换成一次扫描加一次人工标定:同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路,而不是他们的模型或数字;换用自家策略与本体仍需自行复现,本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
- Cosmos-H-Dreams:英伟达面向外科机器人的实时动作条件世界模型(模型卡已指向更新版本)
对接机器人本体或策略软件时,接口是明确的:给一帧上下文图像加一条 44 维动作流,服务每 12 个动作步回传 12 帧画面;人可以拿键盘或 Meta Quest 头显手动驱动,也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库,对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述,落地前仍需在自己的场景、动作空间和硬件上实测。
- MimicAll:面向跨人形机器人全身动作跟踪的结构化本体条件化
对做本体软件和全身控制策略的工程师,最值得借鉴的是把目标机体的结构、形态、动力学写成显式描述符,作为条件与观测一起送进共享策略,从而用一套参数覆盖多副身体;条件化方式可按目标取舍——论文里自注意力取得最低的全局位置误差,而简单拼接就足以改善动作完成率。工程上,参考库留在主机内存、只把活动的时间窗搬到 GPU,使显存占用不再随完整参考库增长,上千机体变体也能共用同一套训练流程。需要清醒认识的是:本文结论全部来自仿真,换到未见机器人家族会明显失效,真机与安全验证要自行补齐。
- ArtifactArena:用模型在物理世界里造出来的东西来评价模型
对做机器人本体软件的人,这是一条"模型造机器人 → 仿真对战 → 排名"的完整回路:模型交出的不是一段说明,而是一份能编译的 MJCF 结构和一段能运行的 Python 控制器,胜负由两台机器人的物理接触算出来,所以改外形、配重或策略会直接改写战绩,这与本体软件里做形态—控制取舍时的反馈回路是对应的,只不过这里的裁判是仿真物理。DLH 那种把模拟器源码、校验器和 shell 一起丢进沙箱让模型自己跑的做法,也对应大家熟悉的"跑仿真回归、让代理改控制器"的用法。评测与选型的人则可以把它当成问答榜单之外的一类观察点,但要注意分数只在 MuJoCo 这一套规则和对手集合里成立。产物与成绩全部出自论文作者自建的仿真竞技场,本文材料中没有第三方复现,应先按作者自报结果看待。
- CENIC:面向接触的凸误差控制数值积分
对接触仿真开发者,价值在于把步长调参转为精度设定,并区分数值求解误差与建模误差;作者认为其更适合离线仿真。
- V2-STRep:以视觉语言模型为基础的结构化任务表示,从生成视频中获取可复用机器人技能
对机器人软件开发者,其参考价值是把必须保持的任务约束与可供规划调整的运动自由度分开表达,而不是要求机器人逐帧追随全部视频姿态。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
- 看好脚下:面向人形机器人行走的预判式感知
对运动控制开发者,值得借鉴的是用预测落脚点筛选策略观察,而非把预测位置作为必须跟踪的落脚目标;作者实验表明,这种输入设计可减少达到指定地形难度所需的训练迭代。
- NVIDIA 扩展 Isaac:衔接机器人训练、运行时与人形参考平台
工程关注点是数据、训练、运行时与参考本体之间的接口和工作流。公告可作为工具链选型与接入评估的线索,但不代表集成收益或机器人通用能力已经得到独立验证。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- SimPT:用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者,价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程;真机验证的是由此开发的训练改进,而非自动恢复机制直接部署到真机。
- NVIDIA 上线 Cosmos3-Nano 的 LIBERO-10 动作策略单元 D2_s43(训练种子 43):标准场景 93.3%,扰动场景 85.5%
这次变更是把“用生成模型改写演示数据”的收益评估,做成了可下载、可对照的公开权重:机器人本体软件工程师可直接加载这条 LIBERO-10(10 任务的操作基准)策略,在同一批初始状态上比较标准与扰动场景的成功率,并按模型卡要求配上重复样本对照,判断自己的数据流程里是否值得引入合成数据。复现成本也被写明:数据不随权重分发。该权重作为 nvidia/Cosmos3-Nano 的衍生物,按 NVIDIA 开放模型许可证发布。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- Isaac Lab 3.0 正式版
对机器人软件开发者,价值主要在于按任务选择运行组件,并在受支持的后端间复用任务逻辑;这是工程接口与工作流调整,不是通用机器人能力的验证。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- GRAIL:从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线;作者将其定位为遥操作和动作捕捉的补充,而非替代。
- Humanoid SRL:通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者,这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考,而非把第三臂当作独立机械手。
- HydroShear:用于触觉仿真到现实强化学习的水弹性剪切仿真
对触觉控制开发者,这项工作提供了以接触历史和滑移建模改进仿真到真机迁移的路线;工程接入需同时考虑真实数据标定与底层接触模型。
- LIBERO-PeRM:个性化机器人操作基准评测
该基准为区分“做成任务”与“按偏好执行”提供受控评测条件,有助于定位个性化操作的失败模式,而非仅依据任务成功率判断能力。
- Spark-0:面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督,而不只是部署时的额外输入;无触觉部署的 Ego Humanoid 结果是关键证据。
- 面向长时域越野导航的可通行性学习
这项作者研究展示了用驾驶轨迹与地形先验学习全局导航地图的路线,将远域地理信息与近域实时避障分工衔接;其评测反映与人类驾驶实践的一致性,而非路径最优性的证明。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- DemoStream:面向自动化示范学习的批量任务与运动规划优化
作者实验强调:规划能完成任务不等于其示范适合模仿学习,示范优化应关注下游策略效果。
- 迈向仿生视觉导航:面向微型飞行器的神经形态导航范式
这项作者论文把事件感知、脉冲决策和硬件执行接入真机导航闭环,为低推理能耗的微型飞行器导航提供了系统级可行性证据。
- FineART:双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐,为子任务预测与低层动作执行相结合的训练提供数据基础;这是发布方描述的训练用途,不等于已经证明通用能力提升。
- LoopWAM:利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。
- 通过广义执行器网络实现肌肉驱动机器人的仿真到现实迁移
提供了一条无需力矩传感器、将复杂执行器学习与已有刚体仿真结合的策略训练路径;场景增删物体不必重新训练执行器网络。
- 舒适地困在原地:Bench2Drive 闭环协议中的评测陷阱
评测应区分模型决策与控制器代劳,并检查指标是否奖励停滞;已有逐帧日志可支持舒适度重算,但代码发布仍是作者承诺。
- MAIA:通过多模态世界模型预判接触密集型操作中的交互异常
这项工作展示了世界模型的一种用途:预测计划动作的物理后果,为执行前的候选动作筛选提供依据,而不只在异常出现后报警。
- 重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号,而非强制的推理期文本前缀;其价值取决于监督是否可靠、是否与动作学习有效耦合。
- VLA 真的遵循指令吗?诊断视觉—语言—动作模型对“如何执行”指令的遵循能力
研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。
- KODA:面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
- ProTracer:本体感觉引导的机器人操作失败诊断
将本体感觉作为时间线索、视觉作为语义证据,为失败轨迹的事后分析提供方法;作者指出,起点定位可支持更精细的时间归因与成功轨迹前缀回收。
- 多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
- 用含失败轨迹微调 Boundless 世界模型:RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体:世界模型(world model,即根据动作生成后续画面的模型)产出的视频一旦把失败画成成功,就不能拿来判断这一把有没有抓住;这份检查点显示,把失败轨迹喂回世界模型能明显压低这种「假成功」(留出片段上失败误读率由 0.825 降到 0.263,成功召回 0.964)。权重与基座同结构(同一 DiT 扩散变换器与动作编码器状态字典,仅推理权重),可直接替换 `step-12000.safetensors`,接入已有推理管线改动很小。接入时照卡片的推理契约即可:每窗 61 帧(1 初始帧 + 8 历史帧 + 52 未来帧),`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`,动作取 BWM 的 `eef_abs` 空间;卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用,需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
- 基于在线接触式几何估计的负载感知四足机器人导航
将负载几何估计与导航策略连接起来,并用循环记忆保留稀疏接触信息,为未知尺寸负载的导航适配提供了研究路径。
- Reflex:视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径,价值在于解耦视觉学习与全身控制,而非证明通用人形技能。
- 模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持,也表明ModAR在受测任务中可利用无动作人类示范改善表现;不据此推断通用操作能力。
- ARC:面向机器人基础模型的推理配方
对机器人本体软件工程师,这是一条不靠堆数据的改造路径:不重新采数据、不重训基础模型,用自动生成的因果轨迹改造已有策略,改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- 鳗鱼仿生软体机器人的执行器控制与健康实时估计器(REACH)
为软体游泳机器人的执行器退化监测提供了模型驱动方案,并给出特定仿真条件下的传感器选型与布置依据。
- 成功的多种路径:面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标,为改善所测分布偏移下的VLA泛化提供了一种训练思路;这里呈现的是作者实验结果,而非独立研究复现。
- AeroEval:面向 AI 生成无人机任务的分阶段程序与执行验证
作者实验支持程序检查与执行证据的互补价值:前者排查结构、接口和意图错误,后者识别与轨迹及环境交互有关的行为违规。
- HRDexDB:跨人类与多种机器人本体的4D灵巧抓取数据集
为研究共享物体上的跨本体抓取差异提供几何标注和示范—执行关联;作者实验支持将已记录机器人抓姿作为未见物体抓取的检索先验。
- ExoBridge:通过人体肢体耦合学习从裸手到手戴式外骨骼的映射
将外骨骼测量用作另一只裸手视频的监督信号,提供了连接视觉示范与机器人相关状态空间的路径;运动输出通过既有标定关联机器人手。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- 面向端到端驾驶安全评估的可控、照片级真实行人危险动作生成
为端到端驾驶提供兼顾行人动作控制与视觉渲染的风险场景生成路径,可用于部署前安全测试。
- DITTO-X:面向灵巧操作与人工干预的正向和反向遥操作
研究将接管前的人机手形匹配纳入遥操作接口设计,为保持已有抓握状态的人工干预提供了具体机制。
- 通过基于采样的扰动观测器应对仿真到现实的失配:从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口,针对局部持续、与任务相关的失配进行修正,而非完整辨识仿真到现实差距。
- CoDimRecon:通过智能体重建包含可变形曲线、曲面和体积的仿真就绪三维场景
把重建目标从外观与几何扩展到求解器兼容的柔性资产,并用行为测试连接视觉重建与下游仿真。
- EgoFound3R:具有逐点交互属性的世界空间端到端第一视角手部重建
把几何与交互属性解码合并,并减少重复场景聚合,为第一视角视频的大规模手部标注提供一条统一处理路线。
- 学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照:在底层稳定跟踪的条件下,可以考察降低策略更新频率,而非默认追求高频。
- 连接前沿推理与机器人执行:从自主示范生成到密集语言监督
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
- TimelyDAgger:用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- 无人机足球:学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据,展示了简化动力学模型配合闭环学习控制的用途。
- Guava:通过机器人操作工具框架将前沿视觉语言模型蒸馏为紧凑智能体
作者实验提示,共享工具接口与仿真交互经验可为紧凑操作智能体的本地部署提供路径;能力来自模型与工具系统的组合。
- ContactExplorer:面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件;受限物体取回实验显示,它可减少对人工接触初始化的依赖。
- RoboChrono:面向流式任务理解的真实机器人基准
该基准的诊断价值在于分开考察视觉识别与时间进度理解,避免仅用汇总分数掩盖能力差异。
- SCOUT:通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。
- 估计,而非模仿:复用可微分的基于状态的策略实现视觉运动控制
作者实验支持将感知学习与既有控制器复用分开:状态估计不仅要接近真值,也可按其对下游动作的影响优化;收益及损失权重仍依赖任务。
- ZeroBot:借助生成式 Real2Sim 在数分钟内从零学习
作者实验表明,生成几何不仅能用于搭建仿真,还能直接参与接触状态选择,加速特定任务的策略学习与仿真到真机迁移。
- 机器人学习中的潜在动作,什么最重要?
为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。
- 生成、跟踪、改进:利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明,生成器微调可调整技能选择与地形一致性,是跟踪器微调之外的补充改进环节;不据此推断通用运动能力。
- InfiNoVA:面向视角不变机器人策略的无限新视角增强
提供了一条不改策略架构、通过保持状态—动作对应关系的几何视角增强改善相机鲁棒性的数据路线。
- CARE:面向视觉—语言—动作策略的经验引导原子纠正执行
将“从哪些失败中学习”与“何时调用纠正动作”分开设计,为VLA失败恢复提供了可分别检验的数据与执行机制。
- CAP:通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径,而非依靠想象轨迹优化策略。
- IM-ENGINE:用于具身数据生成的图像编辑
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。
关联报告
来源与阅读
- RoboTwin 2.0 v2 · §4.4 / Table 4 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- Isaac Lab 3.0 EA 发布说明 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RoboCasa README · 固定 commit / News · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
