核心能力
平衡、步态、全身接触、移动操作与跌倒恢复共同影响可用性;类人外形不自动意味着具备类人任务能力。
比较条件
在楼梯、门槛、狭窄空间等目标环境中记录任务收益,同时统计能耗、可靠性、维护和安全边界。
产业观察
同一企业可能并行开发双足、轮式和固定操作产品。新增轮臂产品不自动意味着放弃双足。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- Body Schema Policy(BSP):把“身体图式”写进视觉—动作接口的小型全身策略
对做本体和控制软件的工程师,这篇论文给出的东西更像一份结构说明加一组部署数字。 第一,策略接口的形态。论文把机器人建模为以根为起点的运动学树:直接控制的关节构成连通子树并带父子关系,底盘速度这类交给底层控制器的命令作为“离树”坐标单独处理;论文也明确说本体和底层控制器决定策略的命令空间。所以迁到新本体时,主要工作量是把关节层级、指令语义与底层控制器接口对齐,而不是去收集大规模预训练数据。另外策略输出的是关节目标,工程上仍然需要一个能稳定跟踪关节目标的全身控制器——真机实验中三个策略都通过关节空间控制策略 HoloMotion v1.4 控制从腿到手指的全部 43 个关节。 第二,延迟与规模的量级。仿真评测里一个动作块(16 步)13.9 ms,真机所用主机上 17.4 ms;服务路径的做法是缓存与观测相关的视觉 key/value、并把每轮去噪作为捕获的 CUDA graph 重放,这套部署侧做法可以直接照抄。它还意味着策略按“执行完整个预测动作块再取下一次观测”的方式工作,接进现有控制回路时需要按这个节奏安排观测频率。 第三,可诊断性。每个部位读画面的区域不同,而且这种分工不是人工标注监督出来的;排查某个关节动作异常时可以直接看该部位的敏感度落在画面哪里,也能理解为什么手部指令需要局部细节、底盘指令需要全局视野。同时要清醒:这套结构不能顶替视觉表征——把 DINOv2 换成从头训练的 ResNet-18 会让总分大约减半,所以换本体或换视角时仍要准备好高质量预训练特征与相应适配工作。
- SALA:用语言描述对齐人机隐式动作,让通用人类视频成为可扩展的机器人策略监督来源
对做机器人本体软件的工程师,有用处的有两点。一是监督来源可以按小时计量:先用一批带原子动作描述的数据训一个跨本体的隐式动作分词器,之后人和机器人的视频都被映射到同一套语义对齐的动作编码上,策略用同一套编码同时从两类数据里学——预训练阶段可以用通用人类视频补充机器人数据而不必新增遥操作采集,新任务则能在固定遥操作预算之外用便宜的人类演示补强(真机上固定遥操作演示、逐步增加任务相关人类演示,平均成功率 53.75%→72.5%)。二是部署侧不增加负担:教师分词器和未来帧只在训练时使用,部署时策略只看当前观测。代价是流程里多了一个要单独训练和维护的分词器环节,它要求为训练片段准备原子动作描述,而策略本身不吃这些描述、只从视频帧学习。需要提醒的是,本次核查材料中的所有数字都出自作者自测的仿真与单台真机实验,没有独立复现证据。
- TMA:通过触觉驱动的电机自适应实现仿真到现实的强力人形机器人操作
给机器人本体与控制软件工程师的用处在于两点:一是把触觉从“有无接触”的开关信号升级为带方向的力信息(法向载荷、锥角、剪切方向),二是用约 2 秒的触觉历史做在线适配,让策略在接触条件未知时自己调整发力方式。门把手这类接触主导任务可以纯仿真训练后零样本上真机,省掉真机数据采集与微调环节;但结论目前只覆盖该任务、该本体和很小的试验规模。
- SSR:面向开放世界的稳健对称人形行走(作者论文,arXiv:2605.30770v2)
对做机器人本体软件的工程师,可直接借鉴的有三点:一是把落脚安全判断从"触地之后"提前到"摆动腿还在半空",这属于奖励与信号设计层面的改动,不必替换整套控制栈;二是把左右对称增广从输入级(原始深度图)挪到潜变量级,作者称相对对照基线 InpSym 峰值显存 28.8 GB→23.7 GB、单卡可训;三是"深度图 + 单策略 + 不建图"是一套可照抄的落地组合:腰部 D435i 以 60 Hz 采前向深度,640 × 360 裁剪到 36 × 36,Jetson AGX Orin 上 50 Hz 推理。跨平台结果提示方法可换到不同尺寸本体,但需要在目标机型上从头重训,而不是直接迁移同一策略。
- 弥合任务规划与执行:面向语言条件下的双臂操作
对做机器人本体软件的工程师,可借鉴之处是把「是否物理可行」直接写进规划接口:场景表示带遮挡依赖与侧向、运动学可达性,每个执行阶段带一组可逐条判定的条件,失败时先改局部参数而不是整条计划重来。论文显示的收益主要是失败处理更省视觉语言模型调用、更容易定位到具体动作,而不是通用操作能力提升。
- ROOF:在头顶障碍约束下学习人形机器人的跌倒恢复
对做本体控制与策略部署的开发者,有三处结构可直接借鉴。一是输入侧:几何信息只在训练时用来算奖励,部署时策略只吃机器人自身状态(93 维本体感知),不必再向部署环境索取几何或接触信息,接触也只是训练信号。二是奖励侧:几何引导只反馈“有没有让出空间”,不指定逃离方向或接触顺序,所以同一条策略能应付训练里没见过的家具与多物体布置(真机 150 次尝试中成功 95 次)。三是实现细节:先验得分与起身、平滑项相乘,执行成本与逃离项用加法,因此先验得分低时逃离反馈仍然保留;关节停滞成本用来抑制机器人持续高力矩顶住障碍却几乎没有关节运动的情况。另外要注意,本次材料能比的只有“去掉几何引导”这一项(18.9% 对 88.5%),其余奖励项各自贡献多少无法从材料判断;真机的 95 次成功是次数口径,不能直接当成与仿真同口径的百分比。
- NVIDIA 扩展 Isaac:衔接机器人训练、运行时与人形参考平台
工程关注点是数据、训练、运行时与参考本体之间的接口和工作流。公告可作为工具链选型与接入评估的线索,但不代表集成收益或机器人通用能力已经得到独立验证。
- Humanoid SRL:通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者,这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考,而非把第三臂当作独立机械手。
展开其余 3 条历史观察
- SocialCoAct:为基于视觉语言模型的人形机器人提供并评测第一视角社交协同行为
对机器人本体软件开发者而言,这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上:模型只负责挑动作并指明它对应哪句话,关节轨迹由白名单映射生成,下半身固定在站立姿态,因此手势可以作为中间层接口来调试、替换和审计,而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策:扩展推理能提分但吞吐下降数十倍,加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
- 基于全身模型预测控制与在线参数估计的显著惯性负载人形机器人遥操作
该工作展示了将在线惯性辨识直接接入全刚体预测控制的路径,使未知负载补偿与遥操作中的平衡控制协同工作。
- 面向安全人形机器人全身跟踪的滤波器感知微调(CoFiT)
对做机器人本体控制软件的工程师,这是一条"只改跟踪器、不改滤波器"的改造路径:现有安全滤波器继续承担训练后才出现的约束,跟踪策略通过一次带滤波器的微调学会主动少让滤波器动手,真机上把需要急停的次数从五次降为零次、违规时间降低 83%;代价是跟踪精度下降,需按场景取舍。
