操作改变外部物体的状态,包括抓放、插接、装配、柔性整理、双臂协作与移动操作。末端形态只是条件之一,感知、力/位置控制、任务分解和恢复同样影响成功。
| 能力类型 | 主要路线 | 难点 |
|---|---|---|
| 刚体抓放 | 示范/VLA、仿真生成与随机化 | 物体与相机变化、抓取失败 |
| 精密接触与柔性 | 力/阻抗控制、真机 RL、人工纠正 | 摩擦/形变、奖励检测、重置 |
| 双臂与移动操作 | 协同策略、任务规划、全身控制 | 长链错误累积与接触切换 |
当前判断 · 2026-10-10 核查
受控接触技能可习得,控制和重置也是成立条件。 HIL-SERL 的插接依赖限幅阻抗控制,柔性线缆等任务仍需人工重置;Playground 的仿真手内旋转能迁移,但卡块和机构柔性仍造成失败。两者不支持任意非结构环境或持续稳定操作。原文条件 · 迁移失败
增加触觉需区分完整成功和步骤进展。 STAR v2 的同数据无触觉训练对照中,耳机翻转成功改善,取书完整成功率却持平,虽然后者步骤完成率提高。指缘传感覆盖不足是作者解释之一,不是已隔离的唯一原因;推理时屏蔽触觉也不同于重新训练无触觉策略。消融协议
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 论智能体式操作策略(On Agentic Manipulation Policies)
给机器人本体软件工程师,有三件事可以直接用。 第一,动作原语可以不给。AMP1 的外壳只提供感知与运动接口以及错误恢复,抓取、推送、放置由模型在每个回合现场写成代码;同一套外壳因此能覆盖单臂、双臂和移动操作,也不需要示教数据或任务特定训练。这把“能力不够就往技能库里加动作”的思路,换成“外壳保持稳定、强度交给模型”。 第二,外壳接口的容错约定直接计入结果。启用 RfE(错误恢复)时真机是 104/108,去掉该接口后是 94/108;而辅助抓取/放置例程对不同模型的作用方向相反——最强的四个模型加了辅助外壳反而更差(最多掉 7.5 分),最弱的六个模型反而更好(最多涨 17.6 分),中间的模型没有收益。做本体软件的人需要自己划定接口边界、错误恢复与辅助例程的取舍,而不是默认“多给点能力总没错”。 第三,记忆库是低成本的能力增量。模型权重不动、不做梯度更新,只记录观察、策略和代码,RoboDojo 双臂任务上未见布局的成功率就从 26.4% 提到 84.1%,单遍顺序连续学习到 57.6%,并且能迁移到还没尝试过的任务而不抹掉已有收益。 需要保留的判断:这些数字目前只有作者自评的预印本支撑,没有独立复现;对照的 VLA、WAM 成绩取自公开榜单条目,不是作者在同一环境下统一复测,而且当时榜单上最强的条目本身也是智能体(SenseNova-RoboRSI,57.1%),最强学习策略 Lakeside 为 51.0%。另外作者自己指出,LIBERO-Goal 上失败的回合几乎都是智能体自认为已经成功,人工复核认为它对指令的理解与人类一致、却与基准校验器不一致——基准分数与实际可用性之间仍有一段距离。
- 《Lazy-MOSAIC:用学到的技能效果世界模型加速以技能为中心的操作规划》
对做机器人本体软件的工程师,这套做法是把「便宜模型筛选、物理仿真把关」接到技能库规划器上:便宜模型决定哪些技能值得占用一次仿真调用,仿真器保留最终验证权,因此能压低仿真调用量而不放弃基于物理仿真的安全前提。前提也很明确——工作空间几何和物体类型须预先已知,学习模型针对该半结构化环境离线训练,作者把跨工作空间泛化列为下一步。
- 先认证,再选择:面向冻结扩散策略的可行性感知运行时转向(CAST)
对机器人本体软件工程师来说,这套做法的吸引力在于不碰策略权重:只在决策循环里加一层“采样—认证—选择”,冻结的扩散策略遇到新约束时还能把任务做完,不必为每条约束重训。代价在算力——CAST-V 的前瞻让决策时间变成 CAST 的 10–50 倍。另外要自行训练任务评分器;当请求改变“哪种行为能成功”时,还要改用能看到请求参数的评分器。文中所有数字都来自仿真。
- TMA:通过触觉驱动的电机自适应实现仿真到现实的强力人形机器人操作
给机器人本体与控制软件工程师的用处在于两点:一是把触觉从“有无接触”的开关信号升级为带方向的力信息(法向载荷、锥角、剪切方向),二是用约 2 秒的触觉历史做在线适配,让策略在接触条件未知时自己调整发力方式。门把手这类接触主导任务可以纯仿真训练后零样本上真机,省掉真机数据采集与微调环节;但结论目前只覆盖该任务、该本体和很小的试验规模。
- ACE-CaP-0:体验时代下的真实世界代码即策略
对写机器人策略的工程师,这篇工作把“经验从哪来”当成开发流程的一等公民:示教做成按需索取而不是开场就塞一堆,仿真放进真机反馈回路而不是先离线刷完再迁移——在本文的充电器插入任务上,顺序式“先仿真后迁移”最终 0% 成功,按需仿真为 100%;最后把策略冻结成程序,运行时不需要人或编码智能体在线决策。预算上也要有预期:按需仿真会多烧输出 token,每个任务还要预留人工协助的场景重置次数,采集示教所用的重置不计入该预算。
- AgenticTactileVLA:无需重训VLA的接触引导执行期监督,实现可泛化的灵巧操作
对做机器人本体软件的工程人员,这条路线的价值在于把「接触到底有没有建立」的判断从视觉挪到执行层的本体信号上:一套固定策略权重可以在新物体上复用,不必为每个物体重训策略,也不必加装触觉传感器;选择性介入还把无谓的接触修正从134次压到46次。改动集中在执行层,不动策略模型本身,是可以分层接入现有VLA栈的做法。
- 学习面向通用灵巧操作的异构触觉表征(LingBot-Touch,arXiv:2611.12806v1)
对机器人本体与策略软件工程师:触觉编码器可以作为一个冻结的外挂模块插进后训练阶段,把传感器型号差异留在编码器内部,策略侧只需把触觉 token 当作额外条件输入,不必为每款传感器重训策略。作者报告的参数增幅远低于原策略的百分之五分之一,因此主要代价在接口改造而非重训策略。数据侧,作者把操作者佩戴触觉手套的录制与遥操作机器人手的录制放在同一套语料里训练,跨传感器迁移是这项工作的明确设计目标(属于作者主张,尚无独立复现)。落地前需注意:论文只在 Sharpa Wave 与 XHand1 两种手型、指尖区域上验证;电容式传感器未进入预训练,手掌与手指其他部位的接触表征不足;编码器层面的通用对照只有 FTP-1 一项,且作者为它单独训练了传感器适配器。跨型号复现前,建议在自己的手型与传感器上先做小规模验证。
- 弥合任务规划与执行:面向语言条件下的双臂操作
对做机器人本体软件的工程师,可借鉴之处是把「是否物理可行」直接写进规划接口:场景表示带遮挡依赖与侧向、运动学可达性,每个执行阶段带一组可逐条判定的条件,失败时先改局部参数而不是整条计划重来。论文显示的收益主要是失败处理更省视觉语言模型调用、更容易定位到具体动作,而不是通用操作能力提升。
展开其余 27 条历史观察
- 用规划器验证的反事实测试审计抓取可行性预测器
这套协议补上了抓取可行性筛选环节一项常规基准给不了的检查:同一个抓取姿态,加入障碍物后被规划器判为不可行,模型分数却不动,而自然基准对此完全无感。作者把反事实标签与指标做成可离线复用的资源,第三方可对自己实现的筛选器打分,不必每次付出一次规划器调用的开销。对开发者的直接提示是:瓶颈可能在输入表示——走廊间隙有没有被编码进特征——而不只是模型规模或数据量;论文给出的间隙感知读法(CF-pair 0.983)是这条路线的一个具体起点。
- DexHOT:把灵巧操作的目标从物体位姿换成手-物构型迁移
对做灵巧手控制与本体软件的工程师,最值得借鉴的是目标接口:把"目标"从物体位姿扩展为手-物关系(论文用一个杯子的例子说明只指定物体状态是不够的)。实现上,上层由贪心规划或一次人类演示给出构型子目标,子目标以 1 Hz 更新;下层一个冻结策略在 30 Hz 上闭环跟踪,负责中间手部动作、手指步态和换握,物体运动与最终手部摆放都能被显式指定。上游来源(规划或演示)与底层控制实现分开,换上游来源时不必重写底层控制。文中所有成功率均为作者在自建基准与自测协议下的自评,尚未见独立复现。
- HandMimicX:通过以物体为中心的策略从第一视角视频学习类人灵巧操作
对做机器人本体软件的工程师,这套流程把“复刻人手轨迹”换成“把物体送达目标状态”:一条第一视角视频即可产出可换位复用的策略,手部姿态又受真实演示的接触约束而不是自由漂移;预训练+按任务微调,以及 DAgger 蒸馏,给出了从仿真训练过渡到真机部分观测的常规接法。
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- FlowVLA:学习流动感知的物理完成状态,用于机器人定量倾倒
对控制软件开发的启示是:可将“怎么动”与“倒够没有”分开建模,并把回正后仍会流出的液体计入停止条件;这是作者实验支持的设计思路,不是通用部署能力证明。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- 价值即记忆:面向通用机器人策略的在线价值引导后训练
将价值预测从训练监督扩展为策略输入,为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取
该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
- 多物体多目标投掷的快速规划
该工作展示了以单目标候选生成和多目标协调分解投掷规划的路径;执行更快与在线响应更快取决于不同搜索策略,并非同一配置同时取得。
- HRDexDB:跨人类与多种机器人本体的4D灵巧抓取数据集
为研究共享物体上的跨本体抓取差异提供几何标注和示范—执行关联;作者实验支持将已记录机器人抓姿作为未见物体抓取的检索先验。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- DNPush:面向物体运输的多机器人系统分布式非平行推力控制
将局部方向偏差从需要消除的误差转为推力分配信号,使无机器人间通信的协同推动不再局限于同一直边上的平行接触。
- ResCue:用于语言条件模仿学习的残差空间提示
作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- 无人机足球:学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据,展示了简化动力学模型配合闭环学习控制的用途。
- ContactExplorer:面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件;受限物体取回实验显示,它可减少对人工接触初始化的依赖。
- CompVLA:面向接触密集操作的可变柔顺视觉—语言—动作模型
将方向性柔顺与主动施力纳入VLA输出,为连接多模态策略和底层接触控制提供了一条具体路线。
- 通过互联实现抓取:基于粗略物体模板的鲁棒闭合运动
作者结果支持将部分抗几何误差能力直接设计进闭合轨迹,而非完全交给反馈纠错;这是闭合运动规划层面的证据。
- IM-ENGINE:用于具身数据生成的图像编辑
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。
关联报告
来源与阅读
- HIL-SERL v3 · §3 / §4 / §6 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RoboTwin 2.0 v2 · §4.4 / Table 4 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- SONIC v4 · §2 / §3 / 补充材料 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- MuJoCo Playground v1 · §IV / §VI · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- STAR v2 · §V-A/C/D / Table III / §VI · 2026-10-10 T05 核查 v2 的共同训练条件;取书成功持平、步骤进展改善,作者证据,未复现。
