跳至正文
原文导读 · 原标题中译

弥合任务规划与执行:面向语言条件下的双臂操作

Bridging Task Planning and Execution for Language-Conditioned Bimanual Manipulation

材料发布 2026-11-09 · arXiv · 作者论文 · 核查 2026-11-13
图2:所提出的语言条件化双臂操作流程总览。框架依据 RGB 观测以及物体的位姿与尺寸构建结构化场景表示,生成顺序操作计划,并把相互兼容的动作归组为可并行执行的阶段。分层验证器评估阶段级的前置条件与后置条件,处理感知不确定性,并利用执行历史引导由局部到全局的恢复过程,在可行时优先采取局部干预。 图片出处
图4:易碎箱(Fragile Box)场景的执行示例,任务是抓取白色箱子。机器人将蓝色与绿色箱子识别为置于目标之上的障碍物。由于二者在侧向上过近,无法直接抓取,机器人先从可触及的前侧推动不易碎的蓝色箱子——这是清理目标最为合适的方向。随后它抓取并把易碎的绿色箱子放到桌面上。两个障碍物都被移除后,机器人抓取白色箱子。 图片出处

内容摘要

让机器人把桌上的白盒子拿出来,难点不在听懂指令,而在手伸不伸得进去、旁边的障碍该不该先挪开。已有规划很少把「动作怎么才做得出来」写成显式条件,失败时定位不到被违反的是哪条要求;条件显式化后,失败才能被定位、进展才能被评估,才谈得上先局部恢复再重规划。

作者提出零样本框架(不需任务特定训练、微调或示范),用视觉语言模型(VLM,同时读图和文本的模型)同时推理任务目标与物理可行性:场景表示成结构化图,除语义关系外还标注遮挡依赖、各侧面的可达性与运动学可达范围;调度器把互不冲突的动作编成并行阶段,每阶段配一组可逐条判定的前置与后置条件;分层验证器按条件检查场景变化,失败后从重试到改参数再到重规划逐级恢复。

实验在CENTAURO轮腿混合人形机器人上,九个桌面场景各跑20次。不做执行感知的基线在并排摆放障碍的三个场景上成功率为0%,加入侧面与运动学可达性后升到85%、70%、50%;分层验证主要省调用:抓取失败场景一次恢复决策平均花1.1次查询(二值验证器每次失败都重规划,花3次),每次执行的查询总数从10次降到8.1次。

边界也清楚:实验只在一台基座固定的轮腿人形、桌面场景上做;抓取可行性用几何包围盒近似,需按把手抓的杯子不在范围内;可达性按固定基座位姿判定,不可达侧面直接丢弃;换模型差别很大,GPT-5.2成功率仅5.0%。均为作者自评,未见独立复现。

点评

对做机器人本体软件的工程师,可借鉴之处是把「是否物理可行」直接写进规划接口:场景表示带遮挡依赖与侧向、运动学可达性,每个执行阶段带一组可逐条判定的条件,失败时先改局部参数而不是整条计划重来。论文显示的收益主要是失败处理更省视觉语言模型调用、更容易定位到具体动作,而不是通用操作能力提升。

单一平台、桌面九场景、每场景20次、作者自评且未见独立复现;抓取用几何包围盒近似,把手类物体超出范围;可达性按固定基座位姿判定,不可达侧面直接丢弃,操作与基座联合规划只是作者列出的后续方向;对后端敏感,GPT-5.2在三个代表场景成功率仅5.0%。

版本与核查范围

版本 2611.12409v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p4.1;#S1.p5.1;#S1.I1.i1.p1.1;#S3.SS4.p1.1;#S3.SS4.p1.2;#S3.SS5.p3.1;#S4.SS2.SSS1.p1.1;#S4.SS2.SSS1.p1.1;#S4.SS1.p1.1;#S3.SS1.p1.1;#S5.p1.1;#S4.SS2.SSS4.p1.1