内容摘要
机器人本体软件常缺一个能直接把语言指令和相机画面转成逐帧动作的策略权重。NVIDIA 在 Cosmos3-Nano 基座上后训练出 Cosmos3-Nano-Policy-DROID(模型卡标注可训练参数 16B):输入语言指令与 DROID 平台的视觉观测,输出用于操作与控制的动作轨迹,并以 OpenMDW1.1 许可发布。
它不是下载即用的单文件模型:官方把部署形态写成“策略服务端 + 客户端”——服务端把动作流推给驱动仿真或真机的客户端,示例客户端是 RoboLab 这一仿真基准。底座是 MoT(混合 Transformer)双塔,自回归塔生成离散 token,扩散塔生成连续多模态;推理时文本走逐 token 自回归解码,图像、视频、音频和动作走迭代去噪。动作接口是逐帧状态或控制量的 (T, D) 序列,只对兼容本体开放(Franka 单臂 10 维、UR 10 维等)。
效果目前只到厂商自述:模型卡正文没有给出可核对的数值,基准结果以图片呈现,其中 RoboArena 榜图标注 Cosmos3-Nano-Policy 排名第一。工程约束是仅测试 BF16 精度。模型卡同时写明它缺少显式物理仿真器,长时序或高分辨率输出会出现时序不一致、物体消失或形变、动作状态漂移,输出不能当作物理精确仿真或安全认证决策,控制类部署需另加验证与护栏。
点评
对机器人本体软件开发者,这是一个可直接获取的动作策略权重:接口是 (T, D) 逐帧状态或控制量序列,可用“服务端推流 + 客户端执行”的方式接入仿真或真机,兼容本体与维度有明确白名单。合理用法是把它当工程试点起点——先在 RoboLab 一类的仿真环境里跑通服务端/客户端链路,再评估真机泛化,而不是当成已验证的落地能力。
效果证据仅有厂商模型卡中的图示(RoboArena 榜图 alt 文本标注 Cosmos3-Nano-Policy 排名第一),正文无可核对数值,也没有第三方独立复现,属厂商声明而非独立研究结论;“排名第一”只是图片标注,不能据此与其他策略做数值排名。模型自述缺少显式物理仿真器,长时序输出会漂移,控制类部署需额外验证与护栏,且仅测试 BF16 精度(FP4/FP8/FP16 未获官方支持)。来源为滚动更新模型卡的抓取快照,其首发日期不能证明页面所有文字在报告截止前已存在。
版本与核查范围
版本 5e9dd43c3c99d813c512960594bfd7b40678b180 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 README:paragraph:6;README:paragraph:11;README:paragraph:26;README:paragraph:23;README:paragraph:28;README:paragraph:28;README:paragraph:13;README:paragraph:75;README:paragraph:71;README:paragraph:38;README:paragraph:100;README:paragraph:101
