内容摘要
机器人本体软件程序员在迭代策略时常卡在仿真环节:物理仿真环境搭建和维护成本高。PrimeSim 给出的是一条生成式替代路径——被定位为能直接当机器人仿真器跑的动作条件、多视角世界模型:输入每个相机视角的首帧、一段文本提示和一条动作轨迹,输出接下来发生什么。对开发者最直接的用处是,接真机之前先按自身动作看画面会怎样变化。
本次在 Hugging Face 公开的是模型权重以及训练和推理代码,对应论文 arXiv 2611.04870。仓库放了两份权重:`primesim_base.safetensors` 是中途训练版本、适合在其上继续微调,`primesim_posttrain_g2.safetensors` 是第 4 阶段的因果少步模型、用于推理,官方建议在仓库 demo 上跑它来观察后训练带来的差别。权重不是自包含的:文本编码器、VAE 和 tokenizer 来自 Wan-AI/Wan2.2-TI2V-5B,需另行下载,再把 `config/model/primesim.yaml` 指向下载得到的三个路径。
官方模型卡自述:模型在 30,110 小时、覆盖 22 种平台的跨本体数据上训练,在仿真评测中领先 WorldSimProbe 五个套件里的四个,并取得整体 EWMBench 最好成绩,材料中未见独立复现。运行条件为三个相机视角同时按 192x256 生成、速度 10 FPS 以上,推荐 A100 或 H100(80 GB),因为 5B 规模 transformer 与 11 GB 文本编码器要同时驻留,24 GB 显卡放不下。许可证为 Apache 2.0,但训练语料不随权重分发。
点评
对机器人本体软件程序员最直接的好处是:不必先搭建物理仿真环境,就能按自身动作预测多视角画面变化,可在接入真机前先看动作后果;仓库同时提供训练与推理代码,微调可从中途训练权重起步,推理用第 4 阶段少步权重。其定位是生成式仿真替代方案,模型卡未给出物理精度,也没有仿真到真实(Sim2Real)的验证数据,模型卡所述基准成绩属厂商自述而非已验证的落地效果。
只发布权重与代码,训练语料不公开,第三方无法复现训练与评测;基准成绩为厂商在模型卡上的自述,没有独立第三方验证;推理需要 80 GB 级显卡,边缘与消费级设备难以承载。
版本与核查范围
版本 2b213fa94d2c84cb3e042283c9c92aaa3ea8ba3b · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 README:paragraph:2;README:paragraph:2;README:paragraph:3;README:paragraph:6;README:paragraph:7;README:paragraph:9;README:paragraph:11;README:paragraph:4;README:paragraph:4;README:paragraph:13;README:paragraph:13;README:paragraph:15
