哈工大全媒体（商艳凯 陈世伟/文 航天学院/图）近日，航天学院、空间智能操控技术国家级重点实验室魏承教授团队在绳驱机械手设计与多模态灵巧操控领域取得重要进展。团队研发出一种创新的18自由度多模态感知绳驱灵巧手，仅需一个单目相机即可实现整手力-位-触多模态感知，无需安装传统位置/力传感器，可显著降低系统故障率及成本，为人形机器人的核心部件灵巧手带来全新解决方案。相关成果以《基于单目相机实现力-位混合多模态感知的18自由度绳驱灵巧手》（An 18-DOF hand integrating force-position multimodal perceptionusing a monocular camera）为题发表在《自然通讯》（Nature Communications）上。
图1 基于单目视觉的多模态绳驱灵巧手设计原理
灵巧手是人形机器人精细操控的核心系统。目前灵巧手自由度随着操控需求和微机电技术发展显著增加，但面临如下挑战：系统制造成本、故障率、维护难度大幅上升；微机电系统装配集成难度大（通信、布线、供电等）；传感器影响手指尺寸和动力学性能。近年来提出的多模态传感器（如电子皮肤、智能编织和离子凝胶等）对制造工艺要求较高；而视触觉传感器感知区域受限在指尖，难以感知手指其他部分的接触力，亟需提出一种新型低成本、高可靠、多模态感知方法，从而突破机械手灵巧操控的技术及成本瓶颈。
针对上述挑战，团队提出了一种基于视觉的低成本、高可靠、多模态传感灵巧绳驱机械手（VMS Hand）。它由一个集成驱动-感知的前臂和模块化手指构成。手指无需安装其他力/位置/触觉传感器（图2a），因此便于制造和维护。驱动-感知前臂仅利用一个单目相机实现多模态传感（图2b），用于灵巧手操作（图2c）。VMS Hand仿人手自由度设计，支持实时感知18个关节角度（图2d）、外部力矩（图2e）、5个指尖的位置和接触力（图2f）以及接触物体的柔软度和轮廓信息。这一新型灵巧手仅使用低成本工业相机实现力-位-触多模态感知，可节省数十个力/力矩传感器及触觉传感器，同时仅依靠单目相机实现传感控制，相较采用大量传感器的传统方案可靠性可大幅提升。
图2 基于单目视觉的多模态绳驱灵巧手设计体系
VMS灵巧机械手通过了灵巧操作、触觉感知、轮廓识别、自适应抓握等应用验证。在灵巧操作方面，该机械手可实现关节位置、扭矩和指尖接触力的精细感知与控制，可基于多指力位混合协同完成自适应抓取及重定向等灵巧操控（图3）；在触觉感知方面，该机械手能够感知接触目标的物理属性(如柔软度)，试验验证了木块、泡沫和海绵等柔软度测量（图4）；在轮廓识别方面，该机械手可测量并重建不规则物体的表面轮廓形状，试验验证了订书机、鼠标、台阶等轮廓测量重建（图5）；在自适应抓握方面，通过标准化Feix GRASP 分类法测试，该机械手实现了33种抓握模式，包括需要指尖精细协调的握笔、捏鸡蛋和操控筷子等多场景自适应精细抓握操作等（图6）。VMS灵巧机械手的成功研发，为未来人形机器人及其他绳索驱动机械系统提供了新的低成本、高可靠解决方案。
图3 VMS机械手多指协同灵巧操控目标
图4 VMS机械手触觉感知测量物体物理属性
图5 VMS机械手物体轮廓测量重构
图6 VMS机械手物体自适应抓握操作
哈工大为论文唯一通讯单位，曹喜滨院士和魏承教授为论文共同通讯作者，航天学院博士研究生陈世伟为论文第一作者。该研究受到国家重点研发计划项目支持。
论文链接：https://www.nature.com/articles/s41467-025-62122-0
