AI研习丨专题：面向防疫的5G巡检机器人技术与应用

2021-02-25 18:50:16

文/ 汪中原，李林，周振宇，王犇，章海兵，徐琳

摘要

随着复工复产的稳步推进，各大公共场所的人流量大幅度增加，戴口罩、测体温成为人们进出的必检项。巡检机器人可以协助人开展自主巡检、自动筛查及智能预警，减轻防疫人员的压力。本文重点关注面向防疫的5G巡检机器人技术与应用，首先探讨自主定位导航、多模态感知融合、集群任务分配和移动边缘技术四类前沿研究工作；然后以科大智能5G巡检机器人为应用案例阐述防疫机器人的实际应用场景；最后对其未来发展做出展望。

关键字

防疫；5G；巡检机器人

0 引言

作为“制造业皇冠顶端的明珠”，机器人的研发、制造和应用，是衡量一个国家科技创新和高端制造业水平的重要标志。美国、日本和德国等西方发达国家大力发展颠覆性机器人技术和系统，积极主导、参与并拥抱机器人建设。美国政府于2011年正式推出了《国家机器人计划》，以“建立美国在下一代机器人技术及应用方面的领先地位”。欧盟于2016年启动了《欧盟机器人研发计划》（SPARC），旨在“保持机器人技术的领导地位，促进行业和供应链的建设，到2020 年能够占到世界机器人技术市场的42%以上”。日本政府于2015年公布了《机器人新战略》，提出三大核心目标，即 “世界机器人创新基地”“世界第一的机器人应用国家”和“迈向世界领先的机器人新时代”。

近年来，我国机器人产业正处于快速发展期，中央及各地方相关主管部门陆续出台政策规划，在项目支持、平台建设与应用示范等方面为机器人产业发展营造良好的生态环境。我国的机器人技术水平显著提升，关键零部件取得重大突破，产业规模持续增长。根据国际数据公司IDC《全球商用机器人技术支出指南》，中国机器人及相关服务的消费额持续高速增长，到2021年将达到746亿美元，2017—2021年复合年增长率（CAGR）达到31.9%，预计到2021年将占全球总量的34%以上，是全球最大的机器人市场。

2019年末，全球范围内发生新冠肺炎疫情，减少人与人之间的接触是防止疫情扩散的有效手段。在此背景下，用机器人替代人的需求被激发，机器人在巡检、医疗和配送等领域走上防疫一线。根据国际机器人联合会的分类标准，机器人分为服务机器人和工业机器人两大类。在我国防控新冠肺炎疫情期间，这两类机器人都发挥了积极的作用。例如在呼吸机和口罩机等防疫物资生产制造方面，工业机器人发挥了巨大的作用；在防疫应急处置和辅助作业方面，服务机器人用得更多，这也是疫情中发展最快的一类机器人。在服务机器人中有三类机器人在本次疫情中发挥了积极作用，第一类是巡检机器人——开展人体测温、口罩识别、定点巡视等任务；第二类是消毒机器人——在医院、商场和户外等场所开展消毒工作；第三类是配送机器人——将食物、药品和物资等运送到指定地点。

本文重点关注面向防疫的5G巡检机器人技术与应用。所谓5G 巡检机器人，即基于5G网络的高速率、低时延和高可靠的特性，针对巡检机器人的移动特点，以及协同工作的低时延、高可靠性要求，对常用的5G网络技术进行面向移动机器人的针对性优化。例如，基于SA架构构建5G网络，采用上下行时隙优化配比、多载波聚合提升通信速率；部署MEC+边缘云实现云边协同，降低时延；优化网络传输，增加网络设备冗余，实施网络切片，提升网络通信可靠性。通过建立多机器人系统分布式控制5G 通信机制与指标体系，建设5G通讯个体移动机器人平台，为机器人间、机器人与管控系统间的数据通信，提供安全、可靠的无线通信服务，确保高效、精准且安全的多机器人间协同工作，实现机器人在各类场景的全天候、全自主和智能化巡检。其代表性企业，如科大智能科技股份有限公司，其5G巡检机器人在能源电力、轨道交通及航空航天等领域均有典型应用。

针对防疫巡检机器人的需求，如何提高对于复杂场景的智能判断和适应能力，提高巡检机器人在测温、巡逻和防疫等诸多环节的工作能力是研究的重点，5G巡检机器人技术则是解决这一类问题的关键。本文首先探讨面向防疫的5G巡检机器人技术与应用要解决的关键问题，包括自主定位导航、多模态感知融合、集群任务分配和移动边缘计算；接着以行为管控、测温巡视等防疫工作为应用案例，阐述科大智能5G巡检机器人关键技术的落地应用；最后讨论目前研究存在的问题，以及未来研究面临的挑战。

1 关键问题

5G 巡检机器人技术主要是研究如何基于移动5G网络，融合智能感知、物联网和人工智能等技术，具备巡检机器人的红外热成像体温检测、未佩戴口罩人员识别和群体协作等功能，从而协助人实现快捷高效的巡检，其中包含了以下四个关键问题。

（1）自主定位导航。机器人执行任务，首先要回答一个基本问题，即我在哪、要去哪、怎么去。为了支持移动、定位、避障和绕障等操作，巡检机器人需基于激光雷达、里程计和超声波等信息，实现在未知环境的自主运动。

（2）多模态感知融合。为了支持机器人的个性化服务和持续学习能力，需要将感知模块的输出进行充分理解，逐步提取并积累与服务场景和个人相关的个性化知识。

（3）集群任务分配。巡检机器人集群任务分配是多个任务分配给系统中的不同机器人，以达到总的巡检时间最短、消耗最小、任务完成度最高等目的。

（4）移动边缘计算。边缘计算的引入将解决终端能力受限和云计算的实时响应问题，增强机器人的实时响应能力，持续不断地提高机器人能力。

1.1 机器人对场景的适应——自主定位导航

机器人需要根据操作人员的在线指令或预先设定的任务，半自动/ 自动进行任务区域内的全局/ 局部路径规划，精准定位到达巡检点完成相应任务。机器人导航定位与路径规划的完成必须依赖于其传感器所获得的信息, 如里程计、声纳、激光和视觉传感器等。由于传感器自身的限制，感知信息存在不同程度的不确定性，直接使用感知信息很难得到准确的环境模型，通常需要对感知信息再处理，从而完成导航和定位。此外，机器人运动路线是否满足机器人和环境条件的要求、规划耗时和空间占用是否最小、路径是否最优，都会直接影响机器人的工作状态和效率。

如图1所示，自主定位导航包括三个关键的科学问题。

（1）大场景不确定信息下的地图创建方法，实现通过机器人在复杂环境中的移动，构建任务区域的环境地图。

图1 自主定位导航

（2）动态环境下机器人的自主定位方法，通过相关算法处理，实时生成机器人当前环境内绝对位置航向数据，同时降低错误的观察数据对机器人定位的影响，提高机器人定位的鲁棒性。

（3）复杂场景下机器人的路径规划与导航控制方法, 规划机器人在全局和局部条件下的最优路径。

1.2 机器人对场景的理解——多模态感知融合

为了实现对巡检区域内温湿度、气体浓度、人员行为和设备缺陷等实时监测并告警，需要构建涵盖不同传感器组合的环境感知融合框架, 同时兼备经济性因素，最大限度利用各传感器的有效信息, 采用人工智能算法对传感器采集的局部或全局信息进行处理分析，获得被监测对象的一致性解释与描述，实现对巡检区域的自主感知。

如图2所示，多模态感知融合包括四个关键的科学问题。

（1）字符识别技术。实现复杂场景下的不同字体、大小、长短的文字检测和识别，将文字拆分成片段和链接两种元素，利用全卷积网络在多个尺度上密集的检测，并根据几何规则组合完成整词检测；实现一种端到端可训练的文字识别神经网络模型，将卷积神经网络、循环神经网络和联结时序分类三者结合，并可以由图片和文字标注端到端的训练，简化传统方法中复杂的训练和测试流程。

图2 多模态感知融合

（2）人脸识别技术。存在光照、姿态、表情、遮挡、年龄变化、伪妆、仿伪和图像成像质量等情况下的人脸关键点检测和鲁棒的人脸特征描述，大规模图像人脸验证时，需要将待检测人脸特征与大规模数据库进行特征距离计算，在大规模人脸数据中实现实时验证。

（3）缺陷识别技术。缺陷为种类繁多、形态多样、外观不规则、部分缺陷细小、外观表现形式并不明确等情况，特征提取后在特征空间存在某些类间间距小、类内间距大的情况，难以训练；另外，缺陷样本数据缺乏，在少量的样本中又包含众多的类别形式，需要从这些小样本中学习到缺陷的特征。

（4）行为识别技术。当前行为识别高度依赖物体和场景，目前算法的行为识别更多的是学习到物体与场景的语义特征，而非行为这个动作，采用交互式学习后并泛化至非特定场景依赖的行为，通过明确行为长度与语义的定义，减少行为时长带来的不确定，对多帧信息的融合处理进行行为语义判断。

1.3 机器人对任务的规划——集群任务分配

在大场景和多任务下，往往需要多个机器人，也就是机器人集群开展巡检任务。随着机器人日益成熟和普及，对机器人集群调度的需求也越来越强烈。5G 高速率、低延迟和广链接为机器人集群的调度，提供了网络支持。机器人集群巡检往往存在大量的巡检任务和一定数量的巡检机器人。机器人集群的任务分配问题是机器人集群调度至关重要的环节，分配结果将直接影响机器人巡检的效率。巡检机器人集群任务分配是多个任务分配给系统中的不同机器人，以达到总的巡检时间最短、消耗最小和任务完成度最高等目的。现阶段的机器人集群任务分配算法大都以最优化总路径或总时间等单个指标为目标，导致每个机器人的任务分配不均衡，实际效率低下。

如图3 所示，集群任务分配包括两个关键科学问题。

图3 集群任务分配

（1）根据巡检任务，兼顾时间、能耗和完成率等不同的因素，将机器人执行任务产生的代价定量描述出来。

（2）如何将待执行任务合理地分配给机器人，以实现整体执行效果最优，提高系统的运行效率。

1.4 机器人的能力边界——移动边缘计算

机器人在移动过程中会不断地采集视频或者其他信息并生成对时延、可靠性，有着严格要求的计算密集型任务数据，对这些数据的处理，对于计算能力有限的巡检终端而言是一个不小的负担，故而需要卸载到计算能力更为强大的平台上。现有的通信架构中，数据主要被上传至远端的云计算平台处理，大量任务数据的远程收发和处理，以及爆发式增长的设备连接和任务计算需求，导致业务处理的响应时延和可靠性无法保障。

如图4 所示，移动边缘计算包括四个关键的科学问题。

图4 移动边缘计算

一是巡检终端在进行任务卸载时，必须动态优化信道选择，以提升任务处理性能；而在实际的物联网场景中，由于终端位置和工作环境的变化，时变的信道状态信息更加难以预知。

二是巡检业务对时延和可靠性等性能指标有着严格的要求，并因业务类型的不同严苛程度各异, 一旦在实际的任务处理忽视该问题，势必会造成重要信息无法及时传达。

三是装载多种传感器的巡检机器人大多采用容量有限的电池供电，执行巡检任务过程中若不停调用传感器信息将加剧数据传输的能耗。

因此，如何在信道状态信息缺失和电池容量有限的情况下选择最优信道进行任务卸载，在提升自身能效的同时，保障业务数据的高可靠低时延通信需求是需要解决的重要问题之一。

2 应用案例

下面结合具体应用案例（见图5），阐述上述前沿问题在现实中的落脚点。科大智能5G防疫机器人是一套智能化巡视检查的综合管理系统，主要应用于大型工厂等人员流动较大区域，用来作为行为管控和测温巡视的标准化防疫工作。其中包括自主移动平台、现场人脸头像采集、人体红外热成像采集，以及后台数据分析、故障告警等多重功能。

图5 应用案例

（1）自主定位导航。针对巡检区域环境特点，机器人搭载激光传感器，并融合里程计信息进行地图构建和定位导航。根据传感器自身的限制及环境特点，采用不确定性信息的处理，基于图优化的增量式地图构建、地图更新及智能绕障技术，通过离线转换工具生成具有统一坐标系的机器人定位用的三维点云地图和导航用的二维栅格地图；同时利用三维激光测距传感器的观测信息与所创建的地图进行匹配，获取机器人的定位信息；根据定位数据及目标点数据的关系实时规划可行路径，实现在任务区域的高精度、大场景地图构建和自主导航。

（2）多模态感知融合。采用“人体识别+人像识别+ 红外/ 可见光双传感”技术，通过全段红外传感器鉴别出人流中的高温人员，根据疑似发烧者的人体体征和人脸信息，利用红外测温技术，即可快速筛查提问异常者并进行报警，解决一般红外测温漏判、错判，以及无法在大流量下识别发烧者的难题，协助工作人员二次测温。

（3）集群任务分配。对机器人集群进行巡检任务规划；从时间、路程和效用三个维度，计算巡检机器人在任务执行过程中的代价；对巡检任务进行分配；通过5G 基站下发巡检指令到机器人集群。巡检机器人集群任务分配是多个任务分配给系统中的不同机器人，以达到总的巡检时间最短、消耗最小、任务完成度最高等目的。

（4）移动边缘计算。基于强化学习和李雅普诺夫优化，提出一种可以在线执行的EUP-UCB算法来解决信息不确定情况下的设备效用最大化问题。该算法通过李雅普诺夫优化可以将长期传输能耗和高可靠低时延通信需求的约束代入优化目标，并将长时的设备效用最大化问题转化为一系列瞬时的信道选择决策问题。

3 未来挑战

目前，关于5G巡检机器人的研究是前沿热点问题之一。防疫作为最具潜力的落地应用之一，虽然已有部分早期的研究成果，但与大规模的商业化应用还相去甚远。下面简述面向防疫的5G巡检机器人的三大潜在未来研究挑战。

（1）场景认知问题。机器人对场景认知的目的是为复杂未知环境下的机器人提供足够的决策信息，这就需要将机器人通过视觉、触觉和听觉等技术获取的异构数据进行融合，实现优势互补，从而提升机器人对周围环境的感知能力。因此，需要全面深入分析机器人与环境之间的交互关系，以实现灵活、稳定和可靠的机器人认知系统。

（2）自主学习问题。尽管目前巡检机器人可以做到一些基本的红外测温、物体识别和人脸识别等，但对于目前机器人商业应用还有一定的差距。目前，机器学习存在固有的鲁棒性问题，其训练数据中存在长尾数据无法被准确识别的问题，因此很难通过现有的监督学习方法在部署产品前解决。要解决这些问题必须使机器人具有自主学习能力。具体来说，机器人可以先实现通过少量的数据去建立基本的能力，然后自主寻找关联数据并进行自动标注。通过不断学习迭代，利用新的数据来对已有的识别模型进行再训练以改进性能，从而提升自我能力。

（3）数据安全问题。由于机器人搜集了多种感知信息，包括视觉数据、语音数据和位置数据等，这些重要的隐私数据都需要得到保护。因此，需要建立完整的数据安全保障机制，既要求保证端到端的安全传输，也要保障在服务器端的安全存储。在机器人侧，传感器数据安全地传输到可信计算单元，以及控制命令安全地传输到执行单元尤其重要，只有确保输入输出的安全，才可以确保机器人在受到网络攻击的情况下，也能保证机器人物理安全的逻辑得到正确执行。

4 结束语

本文介绍了巡检机器人的发展背景，并依托当前热点的应用防疫，详细剖析了前沿问题，以及关键技术的研究现状；同时以典型应用为例阐述了技术的落地路线和方法；最后展望了未来商业化落地的挑战。随着5G技术的发展，以及人工智能的深度融合，5G 巡检机器人技术将推动机器人实现从感知到认知、从推理到决策的智能化进阶。

AI研习丨专题：面向防疫的5G巡检机器人技术与应用相关推荐

AI研习丨专题：因果推断与因果性学习研究进展
来源:<中国人工智能学会通讯> 2020年第10卷第5期机器学习及其应用专题 0 引言因果关系一直是人类认识世界的基本方式和现代科学的基石.爱因斯坦就曾指出,西方科学的发展是 ...
AI研习丨专题：可解释推荐的强化学习框架
2021-03-03 20:06:37 1 机器智能与智能机器让机器具备人一样的智能,赋予机器思考和推理的能力,是人类最伟大的梦想之一.早在 1948 年,图灵在题为<智能机器>的论文里 ...
面向防疫的智能导诊机器人关键技术及应用
[摘要]疫情防控期间,智能机器人在医疗.巡检和配送等领域走上防疫一线,成为抗疫战斗中一股极为重要的力量,使得更多的人意识到智能机器人在解决公共卫生安全问题中的重要性.重点关注面向防疫的智能导诊机 ...
巡检机器人替代传统人工巡检，智能巡检机器人5G工业路由器应用
在5G无线通信.人工智能.物联网.云计算.大数据.电力等前沿技术的高度融合下,以替代人工巡检为目的的电力智能巡检机器人应运而生. 随着智能化时代的迅速发展,人工智能技术.自动识别技术以及机器人行业应用 ...
全息投影是计算机领域吗,世界计算机大会丨科技走进课堂：5G+全息投影教学
原标题:世界计算机大会丨科技走进课堂:5G+全息投影教学在5G和全息投影技术支持下,学生们与远在千里之外的老师进行课程交流互动. 红网时刻9月10日讯(记者李璐姜心玥)如果5G应用到教学领域,将 ...
AI周报丨中国信息通信研究院发布《AI框架发展白皮书》；华为开源首个NLP中文数据集-悟空；AAAI2022年度论文公布。
AI周报丨中国信息通信研究院发布<AI框架发展白皮书>:华为开源首个NLP中文数据集-悟空:AAAI2022最佳论文公布. 2022年2月22日极链AI云官网地址点击注册更多AI内 ...
联合百度云发布新一代ABC一体机，浪潮全方位发挥计算力优势赋能AI落地丨Xtecher 观察
AI 茂盛生长但又普遍难以落地的背景下,浪潮在重磅联手百度云发布新一代 ABC 一体机的同时, AI 计算产品线全面开花.通过联手强力合作伙伴,以及加强自主研发和产品升级,浪潮正积极发挥计算力优势全力 ...
产品升级丨计讯物联双5G+双频WiFi工业网关TG463震撼来袭
当前,国内政策和市场表现都将5G的应用列在工业领域的重要位置.由此可见,工业4.0的建设依托于通信技术的发展.面对工业领域设备.数据增长以及实时感知.决策和控制需求,计讯物联进一步优化升级双5G+双频 ...
高通创投在中国区的投资重点，目前主要聚焦在AI+5G、XR+5G、机器人/自动驾驶+5G、物联网+5G四个方面。
作为全球5G发展的推动者,高通过去几年一直围绕5G重点投资.高通全球副总裁兼高通创投中国区董事总经理沈劲在本周的一场活动中表示,高通创投在中国区的投资重点,目前主要聚焦在AI+5G.XR+5G.机器人 ...

AI研习丨专题：面向防疫的5G巡检机器人技术与应用

AI研习丨专题：面向防疫的5G巡检机器人技术与应用相关推荐

最新文章

热门文章