技术支撑 · 机器人怎样理解人的意图,表达状态并支持协作?
主要路线与入口
进展与证据边界
当前保留技术范围与比较入口;实时多模态交互到身体执行的代表性新结果尚待系统核查。优先补充任务中断、误解恢复和交互时延的证据,而非罗列所有语音或表情模型。
与相邻领域的关系
传感器与物理接触归 K04,运行时控制权归 K06,交互评测与风险边界归 K09。
本体、感知与执行能力 · 软件架构与工程系统 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- SixthSense:仅靠本体感知的全身接触力旋量估计(人形机器人)
对机器人本体与控制软件工程师,这套方案把"接触感知"做成可独立接入的模块:输入只有已有的关节编码器与 IMU 历史,输出是连杆级接触门控和六维力旋量,作者在 Unitree G1 上用它做了碰撞检测与接触触发的人机物理交互演示,也可作为下游判断的输入。要留意的是,这些数字全部出自作者自测,真机接触真值只覆盖站立工况,空间分辨率止于连杆级。
- TMA:通过触觉驱动的电机自适应实现仿真到现实的强力人形机器人操作
给机器人本体与控制软件工程师的用处在于两点:一是把触觉从“有无接触”的开关信号升级为带方向的力信息(法向载荷、锥角、剪切方向),二是用约 2 秒的触觉历史做在线适配,让策略在接触条件未知时自己调整发力方式。门把手这类接触主导任务可以纯仿真训练后零样本上真机,省掉真机数据采集与微调环节;但结论目前只覆盖该任务、该本体和很小的试验规模。
- 我看到你想要什么:从视觉遥操作历史中解码分层操作者意图
对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。
- 学习面向通用灵巧操作的异构触觉表征(LingBot-Touch,arXiv:2611.12806v1)
对机器人本体与策略软件工程师:触觉编码器可以作为一个冻结的外挂模块插进后训练阶段,把传感器型号差异留在编码器内部,策略侧只需把触觉 token 当作额外条件输入,不必为每款传感器重训策略。作者报告的参数增幅远低于原策略的百分之五分之一,因此主要代价在接口改造而非重训策略。数据侧,作者把操作者佩戴触觉手套的录制与遥操作机器人手的录制放在同一套语料里训练,跨传感器迁移是这项工作的明确设计目标(属于作者主张,尚无独立复现)。落地前需注意:论文只在 Sharpa Wave 与 XHand1 两种手型、指尖区域上验证;电容式传感器未进入预训练,手掌与手指其他部位的接触表征不足;编码器层面的通用对照只有 FTP-1 一项,且作者为它单独训练了传感器适配器。跨型号复现前,建议在自己的手型与传感器上先做小规模验证。
- PCTac:面向灵巧操作的机械致变色光子晶体触觉传感器
对做机器人本体和策略代码的工程师,这项工作给了一条更短的触觉接入路径:触觉观测直接是一张相对空载参考帧的色相差图,不必先跑几何重建或力标定再喂给策略;指尖光学也只需一台相机加空间均匀白光 LED,省掉 GelSight 式三色定向照明。论文同时给出传感器结构、信号处理和策略集成的完整配置,可作为触觉表示层的参考实现。需注意其结论来自论文自身的三任务真机实验,本文未做独立复现。
- HARP-Bench:在活动的人类周围评测机器人操作
对机器人本体与策略开发者,HARP-Bench 把「旁边有活人」从不可控干扰变成可复现、可造数据的评测维度,并给出一套安全指标;它同时说明,只看任务成功率不足以判断机器人在人身边的行为,需要另看碰撞与间距。
- 提问以演进:EvoLife 面向终身具身导航的统一框架——混合动作空间与持久记忆
对做机器人本体软件的工程师,可迁移之处在接口组织方式:把移动、求助、记忆做成同一决策循环里的可调用动作,把"地点记录"当作可持久化的数据对象跨任务保留并可修订,而不是每个任务从零开始。其消融量级可作参考——在 R2R 上交互把 SR 从 86% 拉到 100%,记忆回访再把 SPL 从 82.2% 提到 93.3%。这些均为作者论文自报结果,本次材料未包含独立复现。
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
展开其余 11 条历史观察
- 探测视觉语言模型的"碰撞接地"能力:TouchSafeBench 基准显示机器人撞场景比撞人更难被识别
对做机器人本体软件与部署的人,最可用的结论有三条。其一,VLM 的短板不在"看不清"而在"绑不准",输入侧需要补上以机器人本体为中心的几何线索,例如本体坐标系标记、标定的相机到本体变换、机器人足迹叠加。其二,"识别当前是否接触"与"预警即将接触"要用不同的输入组合:俯视轨迹图压误报但会让当前接触识别变差,最好的预警分又来自彩色化深度的单视角输入,因此评测与调参必须按任务分开做。其三,误报与漏报要分开看,一个"从不报警"的监控器在这个基准上并不更安全——带机器人预训练的模型误报更低,却并没有更高的综合 F1。以上均为作者论文的评测结论与设计建议,材料中未见第三方独立复现,也不代表真实产品中的部署效果。
- SocialCoAct:为基于视觉语言模型的人形机器人提供并评测第一视角社交协同行为
对机器人本体软件开发者而言,这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上:模型只负责挑动作并指明它对应哪句话,关节轨迹由白名单映射生成,下半身固定在站立姿态,因此手势可以作为中间层接口来调试、替换和审计,而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策:扩展推理能提分但吞吐下降数十倍,加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- 基于全身模型预测控制与在线参数估计的显著惯性负载人形机器人遥操作
该工作展示了将在线惯性辨识直接接入全刚体预测控制的路径,使未知负载补偿与遥操作中的平衡控制协同工作。
- 用于连续物理人机交互的亚毫秒级反射
为 ROS 2 控制系统提供减少模式切换中断、衔接反射响应的工程路径,而非要求采用单一统一控制策略。工程开放仅按论文声明表述,不等同于独立研究复现。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- DITTO-X:面向灵巧操作与人工干预的正向和反向遥操作
研究将接管前的人机手形匹配纳入遥操作接口设计,为保持已有抓握状态的人工干预提供了具体机制。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
