HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimatio

CVPR 2021
【paper】
【code】

摘要

（1）基于模型的三维姿态和形状估计方法通过估计人体的几个参数来重建完整的三维网格。然而，抽象参数的学习是一个高度非线性的过程，且图像与模型存在偏差，导致模型性能较差。
（2）相比之下，3D关键点估计方法将深度CNN网络与体积表示相结合，实现了像素级的定位精度，但可能会预测不现实的身体结构。

在本文中，我们通过弥合体网格估计和三维关键点估计之间的差距来解决上述问题。提出了一种新的混合逆运动学解(HybrIK)。

HybrIK原理：HybrIK通过扭摆分解，直接将精确的三维关节转换为相对的身体部位旋转，进行三维身体网格重建。通过三维关节解析求解摆动旋转，通过神经网络从视觉线索获得扭转旋转。
结果表明：与单纯的三维关键点估计方法相比，HybrIK既保留了三维姿态的准确性，又保留了参数化人体模型的真实身体结构，从而得到了像素对齐的三维身体网格和更精确的三维姿态。在没有附加功能的情况下，本文提出的方法在各种三维人体姿态和形状基准上大大超过了目前最先进的方法。结果表明，在三维数据集上，HybrIK算法的MPJPE和PVE性能分别达到13.2 mm和21.9 mm。

Introduction

大多数基于模型的方法可以分为两类:基于优化的方法和基于学习的方法。
基于优化的方法通过迭代拟合过程估计身体的姿态和形状。对统计模型的参数进行调整，以减少二维投影和二维观测之间的误差，如二维关节位置和轮廓。但该优化问题是非凸性的，求解时间较长。结果对初始化是敏感的。这些问题将人们的注意力转移到以学习为基础的方法上。
基于学习的方法使用神经网络直接回归模型参数。但是统计模型中的参数空间比较抽象，使得网络学习映射函数比较困难。
这启发了我们建立三维关节与体网格之间的协作; 一方面，精确的三维关节有助于三维体网格的估计。另一方面，参数化车身模型中的形状先验又解决了三维关键点估计方法中车身结构不现实的问题(目前的三维关键点估计方法缺乏对人体骨骼长度分布的明确建模，可能会对左右不对称、四肢比例异常等人体结构进行不现实的预测。通过利用参数化的人体模型，提出的人体形状更符合实际人体)。

我们方法的核心是通过扭转和摆动分解提出创新的解决方案。将骨架部分的相对旋转分解为扭转和摆动，即纵向旋转和面内旋转。我们通过解析计算摆动旋转和预测扭转旋转，沿着运动学树递归合成整个旋转。
贡献‘
（1）我们提出了HybrIK，一种混合分析-神经IK解决方案，可以将精确的3D关节位置转换为完整的3D人体网格。HybrIK是可微分的，允许端到端培训。
（2）我们的方法关闭了3D骨架和参数化模型之间的循环。它解决了目前基于模型的体网格估计方法的对齐问题和三维关键点估计方法的体结构不现实的问题。
（3）我们的方法在各种3D人体姿势和形状基准上实现了最先进的性能。

方法

在§3.1中，我们简要描述了正运动学过程、逆运动学过程和SMPL模型。在§3.2中，我们介绍了提出的逆运动学解HybrIK。然后，在§3.3中，我们提出了一个整体的学习框架来估计像素对齐的体网格和真实的3D骨架。最后，我们在§3.4中提供了必要的实现细节。
§3.1
【正运动学】
【逆运动学】
§3.2混合解析-神经逆运动学
通过相对旋转的直接回归估计人体网格过于困难；在这里，我们提出了一种混合分析-神经逆运动学解(HybrIK)，利用3D关键点估计来提高3D体网格估计。由于三维关节不能唯一确定相对旋转，我们将原始旋转分解为扭转和摆动。利用三维关节进行摆动旋转的解析计算，并利用神经网络的视觉线索估计单自由度旋转。在HybrIK中，相对旋转沿着运动学树递归地求解。我们进行了误差分析，并进一步开发了一个自适应的解决方案来减少重构误差。
在这项工作中，我们考虑一个一般的情况，其中每个身体关节都假定有完整的三个自由度。

Datasets

3DPW：这是一个具有挑战性的户外基准三维姿态和形状估计。我们只使用该数据集对其测试集进行评估。
MPI-INF-3DHP: 它由受限的室内和复杂的室外场景组成。
Human3.6M: 这是室内三维姿态估计的基准。我们使用5名受试者(S1, S5, S6, S7, S8)进行训练，2名受试者(S9, S11)进行评估。
MSCOCO: 这是一个大规模的野外2D人体姿态数据集。