内容摘要
让机器人把桌上的白盒子拿出来,难点不在听懂指令,而在手伸不伸得进去、旁边的障碍该不该先挪开。已有规划很少把「动作怎么才做得出来」写成显式条件,失败时定位不到被违反的是哪条要求;条件显式化后,失败才能被定位、进展才能被评估,才谈得上先局部恢复再重规划。
作者提出零样本框架(不需任务特定训练、微调或示范),用视觉语言模型(VLM,同时读图和文本的模型)同时推理任务目标与物理可行性:场景表示成结构化图,除语义关系外还标注遮挡依赖、各侧面的可达性与运动学可达范围;调度器把互不冲突的动作编成并行阶段,每阶段配一组可逐条判定的前置与后置条件;分层验证器按条件检查场景变化,失败后从重试到改参数再到重规划逐级恢复。
实验在CENTAURO轮腿混合人形机器人上,九个桌面场景各跑20次。不做执行感知的基线在并排摆放障碍的三个场景上成功率为0%,加入侧面与运动学可达性后升到85%、70%、50%;分层验证主要省调用:抓取失败场景一次恢复决策平均花1.1次查询(二值验证器每次失败都重规划,花3次),每次执行的查询总数从10次降到8.1次。
边界也清楚:实验只在一台基座固定的轮腿人形、桌面场景上做;抓取可行性用几何包围盒近似,需按把手抓的杯子不在范围内;可达性按固定基座位姿判定,不可达侧面直接丢弃;换模型差别很大,GPT-5.2成功率仅5.0%。均为作者自评,未见独立复现。
点评
对做机器人本体软件的工程师,可借鉴之处是把「是否物理可行」直接写进规划接口:场景表示带遮挡依赖与侧向、运动学可达性,每个执行阶段带一组可逐条判定的条件,失败时先改局部参数而不是整条计划重来。论文显示的收益主要是失败处理更省视觉语言模型调用、更容易定位到具体动作,而不是通用操作能力提升。
单一平台、桌面九场景、每场景20次、作者自评且未见独立复现;抓取用几何包围盒近似,把手类物体超出范围;可达性按固定基座位姿判定,不可达侧面直接丢弃,操作与基座联合规划只是作者列出的后续方向;对后端敏感,GPT-5.2在三个代表场景成功率仅5.0%。
版本与核查范围
版本 2611.12409v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p4.1;#S1.p5.1;#S1.I1.i1.p1.1;#S3.SS4.p1.1;#S3.SS4.p1.2;#S3.SS5.p3.1;#S4.SS2.SSS1.p1.1;#S4.SS2.SSS1.p1.1;#S4.SS1.p1.1;#S3.SS1.p1.1;#S5.p1.1;#S4.SS2.SSS4.p1.1
