点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨程 茜

来源丨智东西

编辑丨Panken

中国科学家研发“魔法贴”，让你跟机器人共享触觉。

让机器人做核酸采样，靠谱吗？

过去两年，多家研发团队研发了能让医护人员远程操纵机械臂完成核酸采样的系统。不过相比于“直接上手”，这些操作存在一个难点——很难掌握下手的轻重。

▲中国工程院院士钟南山团队与中国科学院沈阳自动化研究所联合发起的新型智能化咽拭子采样机器人系统

毕竟不是医护人员自己的手，医护人员只能凭丰富的经验去想象应该把控多大的力度，来操控机器捅受检人员的鼻子、嗓子眼。

但假如能让机器人把触觉同步反馈给医护人员，那问题是不是就迎刃而解了？

1月14日，一项由香港城市大学、大连理工大学、清华大学、中国电子科技大学学者合作的研究成果登上国际学术顶刊Science Advances。论文中的机器人VR系统项目，解决的即是上述难题。

研究团队开发了一种灵活的电子皮肤贴片，它可以作为无线人机交互系统，应用于机器人VR。只要贴上这个“魔法贴”，人类就能跟机器共享触觉。

该贴片既可以小到无感，也可以大成一件上衣，通过震动力度和频率来反馈触觉。当使用者戴上VR设备，他就能远程控制机器人，去完成宛如亲临现场的精细动作。

▲电子皮肤在智能机器人VR中的测核酸应用演示

以前市面上的多数VR沉浸式游戏，要增加触觉体验，往往需要用户装上外骨骼控制等笨重、庞大的触觉感知硬件设备。而新型电子皮肤有望使用户更轻便地在虚拟世界拥有真实的触觉感受。

机器人VR触觉反馈如何实现？研究解决了怎样的难点？未来又会有哪些新应用？

近日，智东西独家专访这篇Science论文的通讯作者、香港城市大学生物医学工程博士生导师于欣格，了解这项研究的幕后故事，并对其技术原理及应用前景有了更深入的认知。

本文福利：随着新冠疫情的爆发以及防疫常态化工作的开展，使得机器人防疫工作中大显身手。推荐精品报告《防疫机器人研究报告》，可在公众号聊天栏回复关键词【智东西263】获取。

01.

医护人员远程控制

机器人帮你测核酸

机器人VR项目的起步，还要从2020年初席卷全球的新冠肺炎疫情说起。

当时，新冠肺炎疫情确诊病例不断上升、医护人员医疗资源短缺、核酸采样效率较低、医护人员的感染风险很大。这使得于欣格开始思考，能否开发一个远程非接触式控制采样机器人？

核酸采样机器人的好处很多，包括降低医疗成本、缓解感染风险等，钟南山团队、清华大学计算机系教授孙富春团队、南丹麦大学研究人员等都研发了智能化的核酸采样机器人系统。

▲2021服贸会上展出的全自动鼻咽拭子采样机器人（图片来源为环球时报）

但这些利用遥控手柄控制的机器人，对医护人员的操作准确度有很高要求。

于欣格团队观察发现，手术过程中，医生需通过屏幕判断手术进程，去想象有多大的反馈力度，这往往需要临床经验丰富的医生才能把控。

那么，能否在医生和机器人之间共享触觉，让机器人能将现场的触觉反馈同步给远程的医护人员呢？

将电子皮肤作为无线人机系统应用到机器人VR中的研究项目由此启动。

研究人员提出了一个设想，只要“贴上”智能电子皮肤，医生远程操控机器人时，就可以通过视觉、听觉、触觉全方位感知，近似于零距离感受手术过程，并且这在一定程度上，会降低手术机器人认证医生的标准。

▲电子皮肤在智能机器人虚拟现实中的应用演示

不过要将设想变为现实，还需跨过不少难关。

在机器人VR项目进展中，于欣格团队遇到的最大问题是，机器人和人体的双向反馈环节。这也是项目进展中花费时间最长的环节。

核心难点有两处：一是电子皮肤捕捉到人体动作后，如何将这个动作的指令精准传递给机器人？二是如何将机器人获得的触觉精准反馈给人类？

除此之外，机器人VR研究过程不仅涉及于欣格团队擅长的生物医学工程，还会涉及材料、电路、力学优化、有线反馈通路、软件开发及界面优化等。

因此，他们联合大连理工大学、清华大学和中国电子科技大学的多位优秀人才通力合作，最终在这样庞大的应用工程型项目中取得进展。

02.

皮肤还可以变上衣

震动映射触觉反馈

回到研究本身，新型电子皮肤的控制面板整体尺寸为57mm x 39mm x 0.8mm。

研究人员在电子皮肤中采用了多层堆叠布局，其中一层肤色弹性硅（聚二甲基硅氧烷，PDMS）可用作皮肤的软黏合剂，由聚酰亚胺（PI）互连一系列芯片和传感器，包括电阻器、电容器、蓝牙模块、微控制器单元（MCU）、电桥和研究人员自主开发的软传感器、执行器。

▲CL-HMI电子皮肤的组成结构

电子皮肤中的设计均根据完善的力学设计规则成丝状蛇形结构，从而使整个系统具有可拉伸性。另一层肤色弹性硅（PDMS）用来封装所有功能组件。

▲电子皮肤中的蛇形结构设计

于欣格说：“电子皮肤的最终形态取决于我们想要实现的功能，它可以是一个近乎无感的小贴片，也可以是一副手套、一件上衣或者一件连体衣。”

延伸到机器人VR，论文写道，研究人员佩戴四个电子皮肤集成的贴片来控制一个13自由度的人形机器人，这个机器人能够完成人类的大部分动作。

通过配备相应传感器，机器人能同步体验来自前臂、上臂、大腿、大腿侧面、腹部的压力。

实验过程中，还能根据具体应用，自由选择弯曲传感器和触觉致动器的数量，同时佩戴VR设备，同步机器人电子眼获取的视觉信息。

如此一来，机器人VR系统就可以作为在无线操作模式下远程控制机器人的操作平台。

▲手套形状的电子皮肤操纵遥控车模拟实验

关于触觉反馈的实现方式，于欣格说：“我们通过不同的震动强度以及频率来代替触觉。”震动的范围可能是从低频敲击式的震动到类似于手机震动的状态。

在研究过程中，研究人员会为使用者建立映射标准，使用者经过训练和熟悉后能够逐渐适应震动反馈，但目前为止，映射标准会因身体部位、使用者等多种因素而异。于欣格告诉智东西，他们也正在探索实现更真实映射的技术。

03.

通过互联网传输

不到50毫秒就可轻松响应

除了触觉感知外，机器人VR系统的无线传输功能同样神奇。

这块电子皮肤上安装了7个弯曲传感器和5个执行器。这些传感器和执行器可以直接连接到电子皮肤中MCU的模拟数字转换器（ADC）和通用型输入/输出（GPI/O）接口，用于多通道传感和驱动。

电子皮肤中包括读取信息的传感器、用于发送信息的无线发射器，以及有助于触觉反馈的小型振动磁铁。

这些传感器以锯齿形方式放置的电线组成，当贴片弯曲时，这些电线被拉得更直，弯曲、放直手臂时可以向机器人传输有关身体运动的数据。

研究人员称，这些传感器可以将人体运动转换为电信号，由MCU进一步处理并通过无线传输到目标机器人。同时，机器人上的压力传感器检测到与外部环境的接触，通过蓝牙模块控制触觉执行器的振动强度，为用户提供触觉反馈。

为了进一步说明电子皮肤实时无线操作的性能，研究人员测量了1-5米距离范围内的电子皮肤循环响应速度，包括信号传感、数据传输、信号接收、制动响应等环节。

研究结果表明，影响电子皮肤无线传输距离的因素有：顶部肤色弹性硅封装层厚度，人体中复杂的生物组织可能吸收电磁辐射等。

在完善机器人VR的触觉反馈方面，于欣格说：“我们现在可以通过调整电子皮肤的位置和结构解决上述问题，同时也会和更专业的通信领域专家合作，融合相关技术，继续探索机器人VR在无线通信传输领域的潜力。”

▲电子皮肤的无线传输距离实验数据

除了蓝牙操作模式外，电子皮肤还支持Wi-Fi和互联网两种无线通信模式。

对于Wi-Fi模式，只要操作区域被同一个Wi-Fi网络覆盖，无线传输范围就可以扩展到数百米。在互联网操作模式下，无线传输距离可以扩展至互联网覆盖的任何地方，其响应时间范围为30.2到47.8毫秒。

04.

打造线下版元宇宙

除了听、看还能摸

除了医疗领域，触觉反馈也可以应用到社交、娱乐、假肢传感等方面，进一步提升用户体验。

如果将VR设备、触觉反馈和现有的在线视频软件相结合，从听觉、视觉延伸到触觉，隔着屏幕，用户就能感受到与远方亲友握手、拥抱的实感。

去年爆火的“元宇宙”概念中，人们需在虚拟世界建立一个自己的虚拟化身。而要让这个虚拟化身与人类感同身受，必然离不开触觉技术的进化。

早从2018年，于欣格就长期专注于触觉反馈研究，探索VR、机器人与电子皮肤的结合。此前，其团队研发的皮肤VR进展曾于2019年底发表在国际学术顶刊Nature上。皮肤VR系统就搭载了近场通信技术（NFC），远在千里之外的人通过抚摸和滑动屏幕，就能无线控制皮肤VR的触觉驱动。

在他看来：“机器人VR可以理解为线下版的元宇宙。”

在现实世界中，很多危险系数高、环境极端的任务需要机器人辅助，这就需要触觉反馈和传感一体的闭环人机交互系统。

于欣格谈道，在虚拟世界中控制机器人，用户只需要将指令发送给软件，而在现实世界，多了指令和硬件的交互环节，控制机器人的难度更高。

机器人VR系统主要针对于人机交互。于欣格也补充说，从机器人精准感知角度来讲，他们的研究团队已经有了相关成果，现在电子皮肤中的震动单元大小成功缩小到将近之前的1/4，单位面积上单元集成度也大幅提升。

在娱乐应用方面，于欣格为我们举了一个例子，《铁甲钢拳》电影中机器人争斗替代了暴力、血腥的搏击运动。在未来，利用机器人VR和皮肤VR控制机器人决斗，也是该领域的潜在应用场景。

▲《铁甲钢拳》中人和机器人同步动作片段

机器人VR还可以用在健康领域的假肢传感。

失去上肢或下肢的特殊人群安装假肢后，往往无法仅通过观察来掌握力度大小，而将电子皮肤安装在他们的截肢末端有望改善这个问题。

于欣格解释说，电子皮肤在控制假肢运动的同时，还可以将物体的硬度、重量等信息反馈到截肢末端的电子皮肤上，使用户能感受到真实的力度、硬度反馈，从而控制力度的大小。

据于欣格透露，他们也正在筹备初创公司，探索机器人VR的落地，目前更偏向医疗应用领域等to B的工业合作伙伴。

05.

结语：人机交互新方式

或成机器人应用新风口

闭环人机接口的出现为人体和机器人之间提供了更新的交互方式，使得远程操控机器人的应用场景进一步增加，除此之外，双向反馈也为机器人执行更为复杂的任务提供了可能。远程操控高自由度机器人在远距离操作、假肢控制和医疗应用方面的例子代表了其在不同领域的广泛潜在应用。

开发兼具精确触觉传感和反馈功能的远程操控技术非常重要，于欣格说，他们仍然在探索电子皮肤形态的多样性、触觉反馈的精准度、无线传输的效率……

未来，元宇宙可能是机器人VR系统应用的一个重要领域。但于欣格认为，该项目的研究远远不止于此，皮肤作为人体最大的触觉感官，还有更多的发展潜力，不过这个领域的基本探索时间还很短，基础研究在现阶段仍必不可少。

对于听觉、视觉的感知，我们在日常生活中已经司空见惯，如果触觉感知能进一步普及，是否会使得虚拟世界的真实性越来越高？我们也很期待未来不仅能远程听到、看到，还能真实地感觉到虚拟空间。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~