触觉反馈的重要性

灵巧操作领域的研究依赖于通过遥操作采集的演示数据。无论是在艾萨克仿真平台(Isaac Sim)中,还是在实体硬件设备上,当操作人员操控多指机械手抓取物体时,仅依靠视觉反馈,不足以还原机械手与物体之间的物理交互过程。握力、打滑现象以及接触发生的时机,都无法通过视觉直接观测。这就限制了操作人员在遥操作过程中对这些信号做出的反应,进而影响最终生成运动轨迹的精度。而触觉反馈恰好能够弥补这一短板,让操作人员能够切身感知正在发生的接触行为。

ScreenShot_2026-08-14_112257_095.png

MANUS 如何接入英伟达 Isaac 生态系统

MANUS Metagloves Pro 触觉手套采集操作人员的手部运动,并将数据传输至 MANUS 核心程序(MANUS Core)。该程序会把原始信号处理为三类数据:原始传感器数据、关节位置数据以及关节角度数据(人体工学数据)。开发者可根据目标机械手的实际需求,选择重定向流程的抽象层级,既可以直接使用传感器数值,也可以采用解析后的关节角度开展工作。

在 Isaac 仿真平台内部,运行于 Isaac 遥操作模块下的重定向器接收来自 MANUS Core 的数据,并转换为适配目标机械手运动学特性的控制指令。机械手硬件会向 Isaac Sim 提供统一机器人描述格式(URDF)文件,保证仿真模型与真实物理结构保持一致。因此,无论目标是虚拟仿真机械手,还是接入同一环境的实体机械手,重定向过程都可以保持较高精度。

通过触觉反馈实现闭环控制

机械手产生的接触事件,无论是来自 Isaac Sim 仿真环境,还是实体硬件采集得到,都可以通过手套以触觉反馈的形式回传给操作人员。操作人员无需依靠视频画面来判断抓取是否成功,当机械手手指触碰到物体时,就能够感受到振动。由此形成了人类操作意图与机械手响应之间的控制闭环,提升了操作人员在遥操作过程中调节握力、调整物体手持位置的能力。

助力数据采集与仿真到现实迁移

Isaac Lab 将遥操作会话生成的数据作为操作策略的训练素材。由于采集演示数据时启用了触觉反馈,相比单纯动作捕捉得到的数据,生成的运动轨迹能够体现出更具针对性的接触与抓取调整。这对于仿真到现实迁移十分关键:基于已经包含接触力信息的演示样本训练得到的策略,所使用的数据更加贴近实体机器人在仿真环境之外实际会遇到的工况。

Logo

AtomGit AI 社区提供模型库、数据集、Agent、Token等资源

更多推荐