深度学习3D 人体姿态估计面临的问题和挑战

在 3D 人体姿态估计中，学者们致力于研究基于单目 RGB 视频的 3D 人体姿态估计，这是因为目前单目 RGB 摄像头应用广泛、价格低廉，在人们日常使用的手机、电脑均配备有摄像头，因此该技术有着广大的应用前景。但与此同时，该技术也具有更高的挑战性，以下主要介绍几个痛点问题及挑战：

（1）深度模糊问题：3D 人体姿态估计的本质为，从 2D 图像信息中恢复出 3D人体姿态，即从低维度信息中恢复出高维度信息。深度模糊是指，对于 2D 图像中的人体姿态，在 3D 空间中可能有多个姿态与之对应，这是一项极具挑战性的问题。单目 RGB 摄像头仅能获取到二维的 RGB 图像，需要算法依靠额外的信息来恢复出正确的 3D 人体姿态，例如在预测某一时刻人体姿态时，从该时刻的前后多帧图像中提取特征；或者在 2D 人体姿态中预测 3D 人体姿态时结合原始的 RGB 图像等。

（2）人体遮挡问题：人体遮挡是指，图像拍摄过程中人体的部分区域被遮挡，无法得到包含完整人体的图像，这对于单目 RGB 图像的人体姿态估计有着很大的影响。人体遮挡根据遮挡源可以分为人体自身的遮挡、其他物体对人体的遮挡、其他人体对人体的遮挡三大类。在拍摄场景和人物不做任何约束的情况下，难免会产生以上几种不同类型的人体遮挡现象。输入图像中无法包含完整的人体，这为 3D 人体关节点的检测带来很大的困难。首先，人体部分缺失会使得算法检测不到被遮挡的人体关节点，从而无法对被遮挡的关节点给出正确的预测。其次，由于人体的关节点之间是相互关联的，部分关节点的丢失同样会对未遮挡关节点的预测产生影响。因此，不仅要求算法能正确地检测出未遮挡关节点，同时也要求算法有能力提取更多有利特征，对被遮挡关节点做出合理的预测。

（3）数据集问题：人工智能的发展离不开数据集与算法的相辅相成，数据作为算法性能的基础，优质的数据集会使得模型的效果得到很大的提升。数据集方面有以下三点问题：第一点，无论是依靠人工手动标注还是动作捕捉设备，3D 人体姿态估计数据集的制作成本都很高，稀缺的数据集成为阻碍 3D 人体姿态估计发展的首要难题；第二点，由于当前 3D 人体姿态估计数据集的制作大多依靠动作捕捉设备，而动作捕捉设备仅能对于特定环境中在固定范围内活动的人体进行动作捕捉，因此室外场景下的 3D 人体姿态估计数据集相对匮乏，仅依靠目前的公开数据集训练出的网络模型，对于室外场景下、距离摄像机距离较远的人体动作检测较差；第三点，同样由于动作捕捉设备的限制，目前 3D 人体姿态估计数据集中大多都是肢体运动幅度不大、速度不快的日常行为动作，缺少对于舞蹈、体育运动、异常行为等肢体运动幅度大、速度快的动作录制。

（4）实用性问题：近些年，越来越多优秀的网络模型不断涌现，对于人体关节点的检测越来越精准，然而目前距离 3D 人体姿态估计技术的应用仍有很多的问题亟待解决，例如：针对实时性检测场景，模型检测的实时性较差；针对虚拟角色驱动场景，目前 3D 人体姿态估计的预测结果存在着运动失真现象；针对特殊动作检测场景，由于数据集制作的限制，模型往往达不到很好的检测效果。

深度学习3D 人体姿态估计面临的问题和挑战相关推荐

深度学习之人体姿态估计在医疗领域的作用
深度学习之人体姿态估计在医疗中的应用摘要目前基于深度学习的人体姿态估计的方法在一定的训练集上都取得不错的效果,将人体姿态估计应用于医疗当中有利于目前医疗体系的进步和医疗手段的改进.本文将介绍人体姿 ...
3D 人体姿态估计简述
0 前言 3D Human Pose Estimation(以下简称 3D HPE )的目标是在三维空间中估计人体关键点的位置.3D HPE 的应用非常广泛,包括人机交互.运动分析.康复训练等,它也可 ...
3D 人体姿态估计简述【转】
0 前言 3D Human Pose Estimation(以下简称 3D HPE )的目标是在三维空间中估计人体关键点的位置.3D HPE 的应用非常广泛,包括人机交互.运动分析.康复训练等,它也可 ...
姿态估计之3D 人体姿态估计 - 总结（1）【转】
参考 3D 人体姿态估计简述 - 知乎 3D人体姿态估计(介绍及论文归纳) [2021-CVPR]Graph Stacked Hourglass Networks for 3D Human Pose ...
3D 人体姿态估计简述[转]
[转自]3D 人体姿态估计简述 - 知乎 0 前言 3D Human Pose Estimation(以下简称 3D HPE )的目标是在三维空间中估计人体关键点的位置.3D HPE 的应用非常广泛, ...
3D人体姿态估计论文汇总（CVPR/ECCV/ACCV/AAAI）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:Vegetabird | 来源:知乎 https://zhuanlan.zhihu.com/p/ ...
基于深度学习的三维姿态估计
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|计算机视觉工坊三维重建领域主要的数据格式有四种: • ...
网络摄像头+net_今日 Paper | 神经网络结构搜索；视觉目标；人物识别；视频3D人体姿态估计等...
目录基于进化算法和权值共享的神经网络结构搜索检测视频中关注的视觉目标包含状态信息的弱监督学习方法进行人物识别基于解剖学感知的视频3D人体姿态估计 RandLA-Net:一种新型的大规模点云语义 ...
PoseFormer：首个纯基于Transformer的 3D 人体姿态估计网络，性能达到 SOTA
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文分享一篇 52CV 粉丝的论文『3D Human Pose Estimation with Spa ...

深度学习3D 人体姿态估计面临的问题和挑战

深度学习3D 人体姿态估计面临的问题和挑战相关推荐

最新文章

热门文章