它是什么,解决什么问题
本主题覆盖驱动、实时控制、感知、技能、任务、应用、云。它属于“软件架构与工程系统”,用于理解这一组能力、方法或产业对象的边界。
范围与比较维度
- 驱动
- 实时控制
- 感知
- 技能
- 任务
- 应用
- 云
需要持续回答
- 解释算法如何进入稳定运行的整机和机群,包括时序、接口、资源、故障、升级和可观测性。
当前知识边界
本页为范围入口,代表路线与证据尚待补充。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- PILOT:用想象出的子目标与策略先验引导机器操作的长时程世界模型规划
对做机器人本体软件的工程师,可落地的思路是在规划层加两段适配:用视频模型把语言指令变成分阶段视觉子目标,用现成的 VLA 策略给 CEM 热启动,不必人工准备目标图像或中间子目标;策略本身再弱也能当先验用。代价要按部署节奏估:每个回合需要在线生成一次视频子目标,每次规划调用再在线跑一轮 CEM,比直接执行策略多出时延和算力;子目标按固定日程推进,执行落后时不会自动调整时序,失败抓取后的恢复较难。
- 让心构想,让手实现:面向长程操作的接地动作与进度评估耦合
对做本体软件和集成层的工程师,这套思路的价值在于:保留预训练 VLA 当动作策略,在外部加一层负责拆解指令、重新定位物体、判断"这步做完没有"的编排层,子任务边界重置视觉历史并重新接地,完成记录按 episode 保留。作者的消融提示,编排与空间接地各贡献一部分增益,而"何时切换"即使换成仿真真值也几乎不改变序列长度——瓶颈仍在动作执行本身。
- 美团 Meituan-Robotics-0:面向桌面操作的视觉-语言-动作基础模型与事件驱动智能体系统
对做本体软件与集成的工程师,有三处可直接迁移:跨本体数据用统一末端执行器动作表示对齐,使不同机器人的动作维度与坐标口径一致;训练侧用 Rollback 把被替换的策略片段与人工纠正片段配成监督,省掉价值网络与优势标注这一层;部署侧用异步动作块合并吸收推理延迟,避免推理阻塞控制循环,长时任务编排则可参考“事件—记忆—规划”分层:高层规划只在任务进度或可行性变化时被唤醒,低层 VLA 控制保持连续。需要提醒的是,论文里用于生成纠正数据的采集流程带有较强的操作流程依赖,迁移到自研本体时要重新设计采集与接管方式,不能直接复用。
- AgenticTactileVLA:无需重训VLA的接触引导执行期监督,实现可泛化的灵巧操作
对做机器人本体软件的工程人员,这条路线的价值在于把「接触到底有没有建立」的判断从视觉挪到执行层的本体信号上:一套固定策略权重可以在新物体上复用,不必为每个物体重训策略,也不必加装触觉传感器;选择性介入还把无谓的接触修正从134次压到46次。改动集中在执行层,不动策略模型本身,是可以分层接入现有VLA栈的做法。
- HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人
给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。
- HeLM:面向非马尔可夫操作的分层显式语言记忆
对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。
- 基于能量的策略编排(Energy-Based Policy Orchestration)
对机器人本体软件工程师,EPO 可作为高层规划与已有低层控制器之间的一层运行时适配:不改低层策略,只在运行时按状态挑策略并微调下发的低层目标;新增技能时只需为该策略补一个能量模型(约 30 GPU 分钟),而不是重训策略或维护一个需要随策略库变更重训的集中式调度器。它更适合已经训出多个互补控制器(精度型、鲁棒型、站立型)、但缺少统一取舍机制的团队。
- Spotter:让具身模型主导执行,让视觉语言模型为它复盘纠错
对机器人本体软件工程师,最有用的是把"发现错误"和"修好错误"分开评估:即使预言机已定位失败点,策略三次重试仍有九成修不好,失败后打分器也挑不出正确候选,所以只在策略内部加重试或采样打分指望不上,单纯把步数预算放大到 1.8 倍也只带来 1.2 和 1.8 个点。纠错逻辑可以整体放在策略之外:本地轻量筛查器负责召回,通用模型只裁决可疑片段、用可枚举的运动基元修复,再用一个"预期校验"窗口确认是否真修好;延迟代价也小——成功的 Qwen 回合只比裸策略多 13–16 秒。
展开其余 18 条历史观察
- SPARK:通过物理重观测实现自我纠正的具身记忆
对做机器人本体软件的工程师,这套“先诊断、再定点重访、最后增删改”的循环可以直接当作地图记忆的维护范式:审查不需要真值、也不绑定某个具体提问,重访预算可以按区域价值分配;合并后存储比只追加少 13–41%。代价是每轮纠正要额外飞 6–23 个视点。注意三种合并规则的增益几乎相同(+0.294 到 +0.296),说明收益来自重新观测拿到的新证据,而不是合并策略本身。
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- Isaac Lab 3.0 正式版
对机器人软件开发者,价值主要在于按任务选择运行组件,并在受支持的后端间复用任务逻辑;这是工程接口与工作流调整,不是通用机器人能力的验证。
- Humanoid SRL:通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者,这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考,而非把第三臂当作独立机械手。
- StopWatch:面向物体目标导航的目标锚定
为导航软件提供可检查的感知—策略接口:先定位“没认出目标”还是“决策没停下”,并可在不重训策略的情况下改进感知。
- 面向长时域越野导航的可通行性学习
这项作者研究展示了用驾驶轨迹与地形先验学习全局导航地图的路线,将远域地理信息与近域实时避障分工衔接;其评测反映与人类驾驶实践的一致性,而非路径最优性的证明。
- RMBench:依赖记忆的机器人操作基准及其对策略设计的启示
这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。
- 具身图灵机:用于机器人递归自我改进的有状态代码
这项作者研究将策略改进落实为显式状态、可检查代码与离线验证的迭代,为机器人递归自我改进提供了一条软件化研究路线。
- GEM-Occ:从视觉几何证据到具身语义占据记忆
该研究将“支持、矛盾与遮挡”区分处理,为兼顾持续占据记忆质量与存储、查询成本提供了作者实验依据。
- 学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照:在底层稳定跟踪的条件下,可以考察降低策略更新频率,而非默认追求高频。
- 连接前沿推理与机器人执行:从自主示范生成到密集语言监督
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- Guava:通过机器人操作工具框架将前沿视觉语言模型蒸馏为紧凑智能体
作者实验提示,共享工具接口与仿真交互经验可为紧凑操作智能体的本地部署提供路径;能力来自模型与工具系统的组合。
- STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范
该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。
- GINIO:面向神经惯性里程计的几何 SO(3) 等变接口
为学习式惯性测量与滤波融合提供可用于不同骨干和估计器的几何设计原则;重点是旋转鲁棒性与有竞争力的标称精度,而非所有标称条件下均领先。
- Retriever:组合面向长时程操作的感知—推理—行动闭环
通过显式规定模块运行时钟和输入快照,并记录重放所需事件信息,为异步机器人闭环的调试与离线重执行提供系统化路径。
