内容摘要
部署从演示学来的扩散策略(diffusion policy,一次生成一串短动作)后,机器人会遇上演示里没有的约束:有人伸手越过桌面、货架装在工作区上方、指令力度有上限。为每条约束重训不现实,常见做法是安全过滤器,把策略的动作按需改到满足约束为止;但修改只回答“这个动作安全吗”,不问任务能否完成,改得一大就落在策略没有数据的区域而卡住。
作者的 CAST(Certified Action Selection at Test time,测试时认证动作选择)不重训策略:每个决策批量采出若干段动作序列,先用屏障条件逐条认证,再由价值集成(value ensemble)排序,执行分数最高且通过认证的那一段;只有没有任何样本通过认证时才退回过滤器。先认证后排序,评分器不会拿安全换任务进展。
只认证下一段不够:生成式控制器此刻可能有安全动作,之后就没有了。论文因此引入策略条件下的可行性(viability),CAST-V 偏好那些执行之后仍可能持续采到认证动作的候选段,在线用模型 rollout 估计这一可行性;CAST-VL 则直接从控制器自己的日志里学,不做模型模拟。理论上给出三组结论:认证步是否安全与评分器无关;存在认证样本时执行动作与“可行条件下的策略”相对熵不超过 log N 纳特,投影式过滤可能落到策略支撑集之外;排序收益可精确拆成可得性、离散度和评分器目标。
在 robomimic 操作、四旋翼、人形和单轮车四类系统上用冻结策略评测,CAST 在十种设定里的九种中联合成功率高于输出过滤器(第十种打平)。编辑幅度大的力度预算下顺序决定结果:Can 上 b=0.15 时 CAST 为 0.53,先排序后过滤只有 0.16;路线被禁区挡住时 CAST-V 把单轮车成功率从 0.81 提到 0.99,CAST-VL 在四旋翼上 0.98,同场景 MPPI 为 0.61。CAST 无需重训,每次决策一次批量采样,Can 上约 15 ms。
点评
对机器人本体软件工程师来说,这套做法的吸引力在于不碰策略权重:只在决策循环里加一层“采样—认证—选择”,冻结的扩散策略遇到新约束时还能把任务做完,不必为每条约束重训。代价在算力——CAST-V 的前瞻让决策时间变成 CAST 的 10–50 倍。另外要自行训练任务评分器;当请求改变“哪种行为能成功”时,还要改用能看到请求参数的评分器。文中所有数字都来自仿真。
证据只有这一篇 arXiv 预印本(作者自评),没有独立复现,也没有真机验证。安全只是被动安全,只覆盖通过认证的动作段及其备份,不覆盖危险源在机器人静止后靠近的情况。选择无法造出策略从不采样的行为;编辑幅度很小时先排序后过滤持平甚至更好;CAST-V 在 CAST 自己的选择已经可行时会损失进展。文中所有实验均为仿真。
版本与核查范围
版本 2611.19047v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p2.1;#S1.p3.1;#S3.p2.1;#S1.p3.1;#S3.p5.1;#S1.I1.i2.p1.1;#S3.p4.1;#S1.I1.i3.p1.1;#S1.I1.i1.p1.1;#S5.SS3.p1.1;#S6.p1.1
