跳至正文
原文导读 · 原标题中译

先认证,再选择:面向冻结扩散策略的可行性感知运行时转向(CAST)

Certify, Then Select: Viability-Aware Runtime Steering of Frozen Diffusion Policies

材料发布 2026-11-14 · arXiv · 作者论文 · 核查 2026-11-20
图 1:编辑还是选择。(a) 一个训练中未见的禁区(keep-out zone)挡住了冻结单轮车(unicycle)策略的两条路线之一。安全滤波器(阴影为屏障)把机器人保持在安全集 h ≥ 0 内,但它在被阻断路线上的 rollout 会在该区域停滞:策略从未学会从那里继续(40 次 rollout,附计数)。(b) 通过仿真得到策略已认证片段(certified chunks)的可行性 v,即在接下来 8 次决策中持续采样已认证片段的概率。红色区域中也存在已认证片段,但会通向死路;在某一次决策中抽取的 N = 8 个片段里有 4 个指向那里,而 cast-V 执行了一个可行的。(c) 同一张地图,但网络由控制器日志训练得到、不使用模型 rollout(cast-VL):其边界 v = 0.5(黑色)在 rollout 能够通过处与仿真所得边界(白色)一致。(d) 每种策略在 500 个未见禁区上的联合成功率;cast、cast-V 与 cast-VL 使用任务评论器(critic),MPPI 使用模型、地图与目标。 图片出处
图 6:三个仿真器中的 rollout:编辑(上)或选择(下)。操作任务(robomimic Can,移动障碍物 0.10 m / 75,一个计分场景):渲染帧带有手部路径,虚拟圆柱在四个时刻以渐隐方式显示,其屏障梯度场被投影到相机中;输出滤波器保持了间距但一直停滞到时间上限,cast 完成了投罐。四旋翼(训练中未见的禁飞区):飞行器按比例绘制,沿其穿越该区域屏障场的航迹;滤波器的推力修正使其坠毁,cast(以请求为条件的评论器)执行了另一条已学习路线的已认证样本。人形(努力预算 b = 0.55,一个示意场景):MuJoCo 帧;将力矩缩放到上限会使其跌倒,cast-V 在预算内保持行走。箭头表示 ∇h,颜色按屏障值 h 变化(红:位于边界;蓝:较远)。 图片出处

内容摘要

部署从演示学来的扩散策略(diffusion policy,一次生成一串短动作)后,机器人会遇上演示里没有的约束:有人伸手越过桌面、货架装在工作区上方、指令力度有上限。为每条约束重训不现实,常见做法是安全过滤器,把策略的动作按需改到满足约束为止;但修改只回答“这个动作安全吗”,不问任务能否完成,改得一大就落在策略没有数据的区域而卡住。

作者的 CAST(Certified Action Selection at Test time,测试时认证动作选择)不重训策略:每个决策批量采出若干段动作序列,先用屏障条件逐条认证,再由价值集成(value ensemble)排序,执行分数最高且通过认证的那一段;只有没有任何样本通过认证时才退回过滤器。先认证后排序,评分器不会拿安全换任务进展。

只认证下一段不够:生成式控制器此刻可能有安全动作,之后就没有了。论文因此引入策略条件下的可行性(viability),CAST-V 偏好那些执行之后仍可能持续采到认证动作的候选段,在线用模型 rollout 估计这一可行性;CAST-VL 则直接从控制器自己的日志里学,不做模型模拟。理论上给出三组结论:认证步是否安全与评分器无关;存在认证样本时执行动作与“可行条件下的策略”相对熵不超过 log N 纳特,投影式过滤可能落到策略支撑集之外;排序收益可精确拆成可得性、离散度和评分器目标。

在 robomimic 操作、四旋翼、人形和单轮车四类系统上用冻结策略评测,CAST 在十种设定里的九种中联合成功率高于输出过滤器(第十种打平)。编辑幅度大的力度预算下顺序决定结果:Can 上 b=0.15 时 CAST 为 0.53,先排序后过滤只有 0.16;路线被禁区挡住时 CAST-V 把单轮车成功率从 0.81 提到 0.99,CAST-VL 在四旋翼上 0.98,同场景 MPPI 为 0.61。CAST 无需重训,每次决策一次批量采样,Can 上约 15 ms。

点评

对机器人本体软件工程师来说,这套做法的吸引力在于不碰策略权重:只在决策循环里加一层“采样—认证—选择”,冻结的扩散策略遇到新约束时还能把任务做完,不必为每条约束重训。代价在算力——CAST-V 的前瞻让决策时间变成 CAST 的 10–50 倍。另外要自行训练任务评分器;当请求改变“哪种行为能成功”时,还要改用能看到请求参数的评分器。文中所有数字都来自仿真。

证据只有这一篇 arXiv 预印本(作者自评),没有独立复现,也没有真机验证。安全只是被动安全,只覆盖通过认证的动作段及其备份,不覆盖危险源在机器人静止后靠近的情况。选择无法造出策略从不采样的行为;编辑幅度很小时先排序后过滤持平甚至更好;CAST-V 在 CAST 自己的选择已经可行时会损失进展。文中所有实验均为仿真。

版本与核查范围

版本 2611.19047v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#S1.p2.1;#S1.p3.1;#S3.p2.1;#S1.p3.1;#S3.p5.1;#S1.I1.i2.p1.1;#S3.p4.1;#S1.I1.i3.p1.1;#S1.I1.i1.p1.1;#S5.SS3.p1.1;#S6.p1.1