输入路径:手部追踪数据导入重定向流程

MANUS Isaac Teleop插件从MANUS SDK中提取手部和手指骨骼数据,并将其注入到Isaac Teleop的标准手部追踪层。由于它是在这个共享层上集成的,因此任何为手部追踪输入而构建的重定向器都可以直接使用MANUS数据,无需额外处理。

NVIDIA Isaac TeleopIsaac Lab支持使用MANUS Metagloves Pro Haptic实现单指触觉反馈。这使得灵巧远程操作能够通过模拟机器人交互提供物理反馈。

对于需要比标准框架更精细的管道,该插件可以选择将原始 flex-sensor 读数作为更精细的数据流公开。

输出路径:来自机器人接触的触觉反馈

触觉输出与输入路径呈反向镜像关系。模拟机器人手上每个手指与抓取物体的接触力会被测量。该信号会沿着流程返回到手套。

对于MANUS Metagloves Pro Haptic手套,数据按拇指到小指的顺序传输。MANUS 插件将数据传输到手套,并通过MANUS SDK驱动五个手指的执行器。双腿上的数据通过同一个插件闭合。

对灵巧操作研究的启示

诸如工具使用、手内方向调整和双手协调等需要大量触觉接触的任务,依赖于视觉无法直接感知的抓握线索:抓握力、滑脱起始点和接触时机。手指触觉反馈能够直接为操作者提供这些信号。

使用触觉反馈录制的训练过程能够捕捉到更精准的抓握调整和更恰当的接触转换时机。这些数据被输入到Isaac Lab的演示增强工具中,用于训练基于轨迹的策略,这些轨迹已经反映了真实的接触动态,更接近真实世界的情况。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展,使其处于技术前沿甚至更前沿。在这个频道上,我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议,成为其在中国大陆地区一级官方代理商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务,欢迎垂询。

Logo

AtomGit AI 社区提供模型库、数据集、Agent、Token等资源

更多推荐