内容摘要
任务:训练一个能跟踪十万级人体动作片段的通用人形全身控制器,瓶颈在算力而不是控制算法。现有主流做法是无模型强化学习(model-free RL:不显式建模动力学,靠反复采样仿真来估计动作后果),要么逐个动作训练专家再蒸馏合并,要么用集群算力暴力训一个通用策略,动作库越大训练越贵;作为对比的 SONIC 在 128 张 GPU 上训练约 168 小时,合计约 21,000 GPU 小时。
这次的变化:换掉策略更新的来源。用仿真器记录的转移数据拟合一个可微世界模型(可以对动作直接求导的神经动力学模型),让它承担策略更新:世界模型与跟踪策略在同一个循环里交替训练,策略在冻结的世界模型上做短程「想象 rollout」(在模型内部推演若干步,不占用仿真器算力),通过按时间展开反传(BPTT)拿到解析梯度。因为梯度来自学到的模型而不是对仿真器求导,带非光滑接触、不可微实现的刚体仿真器仍然可用。
结果:单张 H100 训练 3 小时,归一化回报(按每步奖励求和后除以该和的最大可能值归一化)就超过 SONIC 已发布检查点;在一个 129,514 条动作的基准上,单卡 3 小时失败 25 条,两卡 9.8 小时后无失败动作,SONIC 已发布检查点失败 179 条。作者把算力差距换算为墙钟时间约 56 倍、GPU 小时约 7200 倍,并说明训练数据量(264.56 小时对 611 小时)与 H100 相对 L40 的峰值吞吐差异不足以解释这个差距。在 LAFAN1 数据集上的受控对照中,SuperMimic 单卡 1.2 小时评估回报达 0.82,直接在仿真器里跑 PPO 的对照基线 PPO-Sim 在 18 小时预算内没达到,最终回报为单卡 0.60、四卡 0.70、八卡 0.72。世界模型的 8 步预测误差在数据规模扩到 264 小时的过程中保持在 0.007–0.011,其 rollout 在实际使用的批量规模下比论文所用的仿真器 MuJoCo Warp 快 10 倍以上。作者还把一个通用动作跟踪器部署到真实 Unitree G1 上、未做逐动作调参,演示动作覆盖移动、躯干与四肢着地的接触丰富全身动作,以及杂技动作。
点评
对做本体控制栈和训练基础设施的工程师,这篇论文变动的是成本结构:策略更新不再吃仿真器吞吐,rollout 在神经动力学里完成,所以「加卡换提升」这条经验不再成立——对照里 PPO-Sim 从四卡到八卡几乎无增益,而 SuperMimic 单卡 1.2 小时就达到目标回报 0.82;作者报告的对照基线 SONIC 需要 128 张 GPU 跑约 168 小时、约 21,000 GPU 小时。训练栈上要接的东西相对明确:从仿真器记录的转移拟合一个共享的可微世界模型,与策略交替更新;仿真器本身不需要可微,现有的刚体仿真器可以原样保留,这一点对已有 MuJoCo 系仿真管线的团队尤其重要,因为接触不光滑的刚体仿真本来就难做梯度。部署侧的证据是作者自己的真机演示(Unitree G1,一个通用跟踪器、不做逐动作调参,覆盖移动、接触丰富动作和杂技动作),属于论文报告的落地结果,不是厂商声明,但目前只到定性演示层面,没有实机的量化指标。另一条对写控制栈的人有用的经验是价值网络(critic,用于估计想象视野之外的回报)的作用:作者报告带 critic 时可以在更短的想象视野下训练,而且仿真推扰下带 critic 的策略能站稳、不带 critic 的会持续踉跄并在更高推扰速度下摔倒——不过这只是仿真证据,作者没有给出实机推扰的量化对比。
算力对比由作者自报,对照基线只有 SONIC 一个;作者用训练数据量(264.56 小时对 611 小时)和 H100/L40 的峰值吞吐(fp32 0.74 倍、张量核 5.5 倍)差异做了一轮论证,并明确说明两次训练各自用了多少峰值吞吐无法得知。评测用的是双方共同的训练动作集,失败数只反映各策略对这些训练动作的覆盖程度,不能说明对新动作的泛化。世界模型只从仿真器转移数据学习,真实机器人数据尚未用于改进它;训练只在平地上进行,未涉及地形与物体交互。真机只做了动作跟踪的定性演示,推扰恢复的对比停留在仿真层面。本材料为 arXiv PDF 的文本解析版,表格与图形几何未重建,图表数值只能依据正文与图注。
版本与核查范围
版本 2610.28480v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 page:1;page:2;page:2;page:2;page:6;page:6;page:7;page:8;page:8;page:8;page:9;page:17
