深度学习之人体姿态估计在医疗中的应用

摘要

目前基于深度学习的人体姿态估计的方法在一定的训练集上都取得不错的效果，将人体姿态估计应用于医疗当中有利于目前医疗体系的进步和医疗手段的改进。本文将介绍人体姿态估计技术以及在相关医疗领域的具体应用。

关键词：深度学习；人体姿态估计；医疗

引言

目前在医疗当中，患者的相关影像检查经常需要人工引导病人进行检查人体相关的部位；患者手术后的康复训练没有一定的指导性动作等等。而随着近年来深度学习的发展，人体姿态估计（即人体关键点检测）技术越来越成熟，将人体姿态估计技术应用于医疗当中将会给医疗行业带来极大的进步和发展。

1人体姿态估计

人体姿态估计是对人体关键部位的定点检测，例如骨骼关键点。人体姿态估计可以用来进行动作识别，例如用于检测一个人是否摔倒或疾病，用于健身、体育和舞蹈等的自动教学等。

而深度学习之人体姿态估计在医疗中的应用也越来越多。

1.1.人体姿态估计相关难点

在单人的姿态估计当中，多幅图中同一人的姿态关键点间的尺度差别通常比较大，这种尺度差别会给网络特征的提取设计造成一定的难度。

在多人的姿态估计当中，多人的姿态估计相当于是对单人姿态估计的组合分析，问题会变的更加的复杂。除了在同一图像当中出现同种类且尺度差异悬殊的问题之外，还面领着遮挡和重叠的问题。这些都会给网络特征提取和后期的分析估计预测造成相当大的难度。

1.2.人体姿态估计的方法

下面是对有关对人体姿态估计相关技术发展的总结和时间线概括。

图1 近十年基于深度恶习的二维人体姿态估计研究发展时间线[1]

表1 二维人体姿态估计方法分类[1]展时间线[1]

下面介绍人体的姿态估计的单人姿态估计和多人姿态估计。

单人姿态估计

通常使用更深层次的卷积神经网络结构，提取更深层次的特征信息来解决同类关键点尺度差异大的问题。而在姿态估计当中，目前已经产生很多的方法，例如基于坐标回归的方法、特征热力学图回归方法。

坐标回归方法通过多阶段的卷积网络级联架构进行特征提取，在全连接神经网络上直接进行坐标回归，并进行多次迭代后得到姿态关键点的坐标估计结果[1]。但是人体姿态千变万化，直接坐标回归并不能很准确和高校的预测出人体的关键点。

特征热力图的方式主要是对输入的图像的特征提取的深度加深，同时通过增加卷积尺寸和池化的大小，增大特征提取时的感受野，尽量经过特征提取之后，特征信息能够涵盖原始信息的95%以上。基于特征热力图的方式的经典算法有CMP，其是一个对卷积网络模块后成的级联网络结构。

此外，在人体的关键点检测当中，通过卷积的方式提取特征，通常要经过卷积池化等步骤，这会降低图像的分辨率。高分辨率网络（HRnet）给出了一种保持图像高分辨率的一种新型多层的网络结构。HRnet的网络的架构如下图所示。

图3 HRnet网络架构[1]

多人姿态估计

与单人姿势估计不同，多人姿势估计需要处理检测任务和定位任务，因为在输入图像中没有提示有多少人。根据从哪个级别（高级抽象或低级像素）开始计算，人为估计方法可以分为自上而下的方法和自下而上的方法。自上而下的方法通常使用人检测器在输入图像中获取一组人的边界框，然后直接利用现有的单人姿势估计器来预测人的姿势。预测的姿势严重依赖于人检测的精度。整个系统的运行时间与人数成正比。自下而上的方法直接预测所有人的所有2D关节，然后将它们组装成独立的骨架。在复杂环境中正确组合关节点是一项艰巨

研究任务。

自上而下的方法先从图像中检测出所有的人，随后进行图像分割，之后利用单人姿态估计的方法对所有人的姿态进行估计。但是这种自上向下的方法无法解决遮挡问题，精度不高，并且随着图像中的人数增多，运行效率比较低。

自下而上的方法是先检测出图像中所有的人体关键点，然后通过图优化的方法剔除错误的人体关键连接，进而实现人体的多人姿态估计。这种算法有助于减少算法运行的时间，提高检测的效率。

经典的多人姿态估计的网络的模型有六阶段双分支，上分支负责预测人体关键点的位置，下分支负责预测检测人体关键点之间的亲和区域。将前一阶段的预测结果融合原有的图像特征作为作为下一阶段的输入，经过多次阶段性的操作，提高人体关键的预测的准确度。下图为其网络架构图。

图4 六阶段双分支网络架构图

图像特征采用VGG－19模型进行提取，并用符号F表示图像特征。在第一阶段，网络以F作为输入，输出关节点的热力图和骨点之间的亲和区域，其中和为网络的映射函数，其本质是一系列的卷积操作。

亲密度关系可以表示如下：

（1）

3.人体姿态估计在医疗中的应用

3.1人体姿态估计在医疗康复中的作用

人体姿态估计技术在行为识别和医疗康复领域里有着广泛的应用，它能帮助研究员或者医生远程监控机器人或者病人的行为，并且，全方位与全天候的收集机器人或者病人的行为能极大的简化研究或者治疗的过程、极大的降低人工成本，让研究员或者医生有更多的时间去研究更新颖的算法或者医治更多需要被医治的病人。

人体姿态估计有利于寻找一种有助于病人康复训练的动作。利用人体姿态估计可以在大量康复患者的日常行为动作中，检测出人体不同关键点运动对相关病理和伤口部位的恢复影响程度。之后同样可以根据深度学习的方法，从大量的训练样本当中，生成一套连续的人体关键的运动视频。

3.2人体姿态估计在医疗检查中的作用

目前很多疾病都需要通过放射科中的直接数字化X线摄影系统（DR）、计算机X线摄影系统（CR）、数字减影血管造影系统（DSA）、计算机X线断层扫描（CT）、核磁共振（MRI）等设备拍摄医学影像从而进行精确诊断。而这些通常需要医务人员的参与，为患者进行指导服务，人工调整检查部位等等。

基于对于当前现状的观察与反思，无接触患者定位技术应运而生。无接触患者定位技术能够顺应当下日常疫情防控要求，达到了对医务人员和被检人员双向保护的目的，同时极大程度保证了医疗机构的正常高效运行。

而无接触患者定位技术就是基于目前的深度学习之人体的姿态估计。在检查的时候机器能够根据图像中的人能够分辨出人体的各个部位和姿态，进而根据患者的检查要求部位，机器做出相应的调整。在单人姿态估计之下，医务人员不需要在为患者指引和人工调整检查部位，应用此相关深度学习技术的医疗检测机器可以根据患者的检查清单，快速检查患者的关键部位，避免了人力资源的浪费。而多人姿态估计之下，更是在一定的放射科的检查当中，同时对多名患者进行检查，大大提高了效率。

3.3人体姿态估计在医疗治疗中的作用

人体姿态估计也就是人体关键点检测。人体的关键点就像人体的穴位一样，知道人体的具体的关键点不仅能够帮助医务人员熟悉连接人体穴位和骨骼关键，还有助于在相关医疗当中对患者进行精准定位和操作。

随着科技的发展，未来的医疗会向着微型化和无创化的方向发展，利用微创技术进行手术，目前已经在相关的领域实现普及。而人体姿态估计这个技术，有利于微创手术的更加精准的定位，以便实现更大范围内的应用。

4.人体姿态估计在医疗领域应用可能遇到的问题

4.1检测耗时太长

深度学习相关模型的运行需要一定的时间运行，如果在医疗检查当中，对捕获的图像当中的人体关键点的检测时间太长，就会出现医疗检查机器会出现较长时间校准的问题，这样的效率可能还没有人工辅助检查的效率高，这是需要解决的问题之一。

4.2训练集的样本来源

深度学习的训练离不开大量的数据集。但是在医疗领域，如果要建立一个全面准确高效的人体关键点检测模型就需要大量的训练集样本。而大量的训练样本就需要收集病人的数据，这会涉及到隐私权等等问题。所以建议一个可观的数据集库是相当困难的。

4.3检测的准确度的影响

在医疗当中检测当中，我们更不能忽略正确率这一因素的影响。人体关键点检测基于深度学习内容，准确率不能达到100%。如果在检测过程中，人体关键点的定位发生错误，一些放射机器比如CT，X光等就会向错误的位置移动，这会对病人其他身体部位造成影响。

5.总结

人体姿态估计随着目前深度学习技术的进步，其检测的精度和速度都在提升。人体姿态估计（即人体关键点检测）在医疗中的作用愈发的凸显，无论是是提高目前医疗检查的自动化还是提升医疗康复和医疗治疗水平都发挥着重要的作用。相信在未来当中，深度学习会在医学领域发挥更大的作用。

5.参考文献

[1]刘勇,李杰,张建林,等. 基于深度学习的二维人体姿态估计研究进展[J]. 计算机工程,2021,47(3):1-16. DOI:10.19678/j.issn.1000-3428.0058799.

深度学习之人体姿态估计在医疗领域的作用相关推荐

深度学习3D 人体姿态估计面临的问题和挑战
在 3D 人体姿态估计中,学者们致力于研究基于单目 RGB 视频的 3D 人体姿态估计,这是因为目前单目 RGB 摄像头应用广泛.价格低廉,在人们日常使用的手机.电脑均配备有摄像头,因此该技术有着广大 ...
利用深度学习进行人体姿势估计--概述
本文转载于原文链接什么是姿势估计? 人体姿势估计和跟踪是一项计算机视觉任务,包括检测.关联和跟踪语义关键点.语义关键点的例子是 "右肩"."左膝 "或 &qu ...
Azure Kinect 3深度相机开发--人体姿态估计并输出各个关节点坐标
Azure Kinect 3深度相机开发--人体姿态估计并输出各个关节点坐标前言一.VS配置Azure Kinect 3开发环境(C++) 1.下载并安装Azure Kinect3 SDK 2.配 ...
基于深度学习的三维姿态估计
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|计算机视觉工坊三维重建领域主要的数据格式有四种: • ...
基于3D深度视觉的人体姿态估计算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉人体姿态估计是当前计算机视觉领域的热点研究问 ...
基于深度学习和传统算法的人体姿态估计，技术细节都讲清楚了
作者 | 站长 pursueYfuture 来源 | AI专栏(ID: pursue-Y-future) 计算机视觉的一大研究热点是人体姿态估计,还有很多问题急需解决,比如遮挡,交互等等.在最近的CV ...
看完这篇AI算法和笔记，跟面试官扯皮没问题了 | 基于深度学习和传统算法的人体姿态估计
点击蓝色"AI专栏"关注我哟重磅干货,第一时间送达这是站长的第 41 篇原创优质长文前几天站长写的一篇的文章[基于深度学习算法和传统立体匹配算法的双目立体视觉]大受好评.这次 ...
看完这篇AI算法和笔记，跟面试官扯皮没问题了 | 基于深度学习和传统算法的人体姿态估计...
点击蓝色"AI专栏"关注我哟重磅干货,第一时间送达这是站长的第 41 篇原创优质长文前几天站长写的一篇的文章[基于深度学习算法和传统立体匹配算法的双目立体视觉]大受好评.这次 ...
看完这篇AI算法和笔记，让面试官刮目相看没问题了 | 基于深度学习和传统算法的人体姿态估计...
点击蓝色"AI专栏"关注我哟重磅干货,第一时间送达这是站长的第 41 篇原创优质长文前几天站长写的一篇的文章[基于深度学习算法和传统立体匹配算法的双目立体视觉]大受好评.这次 ...

深度学习之人体姿态估计在医疗领域的作用