原文链接如下：Stacked Hourglass Networks for Human Pose Estimation​arxiv.org

这篇论文算是继CPM之后卷积神经网络在human pose estimation中使用的又一代表作。这篇论文提出了一种创新的卷积神经网络结构，使用了重复的bottom-up和top-down连接的处理结构，以及同CPM一样使用了intermediate supervision(中继监督)的监督方法，达到了一个准确率的提升。

网络总体简介

这篇论文指出，在通过图像或者视频理解和分析人类的行为，以及进行人机交互或者动画这些高级任务中，人体姿态估计是一个关键点。于是作者在前人使用ConvNets的基础之上，也设计了一个新的"stacked hourglass"卷积网络接结构。首先网络的总体结构如下图所示。

可以看到实际上stacked hourglass network就是多个hourglass modules的stack(堆叠)，每个hourglass module由一个bottom-up和top-down的网络结构构成。他的样子长得就像是堆叠起来的沙漏，所以作者称它为"stacked hourglass networks"。每个bottom-up除了卷积之外将图片从高分辨率降到低分辨率，提取更强的语义特征，top-down过程再将图片从低分辨率升到高分辨率，加强定为特征。

Hourglass Module Design

单个的hourglass module的结果就如下图所示：

hourglass 的设计来源就是来自于我们在提取特征的时候，必须要提取每一个分辨率大小的信息，这就代表着对于不同scale的特征图，我们要将所有特征图都能识别并提取出来。比如，当我们要识别像脸和手这样的特征，那么对于整个身体的识别也是特别重要的，能够帮我们区分出这不是一个其他的什么东西，比如一个树枝。而身体的识别和手的识别是在不同的一个scale下的，对于手明显需要将图放大进行识别。hourglass就是为了将每个scale的信息都能提取出来而设计的一个简单模型。原文“The hourglass is a simple, minimal design that has the capacity to capture all of these features and bring them together to output pixel-wise predictions. “

hourglass的一个非常重要的点就是使用了"a single pieline with skip layers"来保留每个分辨率的空间信息。在Hourglass模块中，卷积和max pooling被用来将特征降到一个很低的分辨率，在每一个max pooling步骤中，网络产生分支并在原来提前池化的分辨率下使用更多的卷积，当到达最低的分辨率的时候，网络开始upsample并结合不同尺度下的特征。这里upsample(上采样)采用的方法是最邻近插值，之后再将两个特征集按元素位置相加。

当达到输出分辨率的时候，接了两个1*1的卷积层来进行最后的预测，网络的输出就是一组heatmap，每个heatmap代表着网络预测的每个像素存在对应的关节的概率。比如一组heatmap有16个channel，那么每个channel都代表着某一个关节的每个像素存在该关节的概率矩阵图(我个人这么叫)。

Layer Implementation

网络中每个长方体都代表着一个Residual Module，具体结构如下：

可能不够清晰，所以我也画了一个图：

其中numIn和numOut代表着输入的channel和输出的channel，k代表kernelsize。

第一行是正常的卷积路，每个卷积核后面都跟着BN(batch normalization)和ReLU。

第二行就是之前提到过的skip pipeline，是一个直接将输入连接到卷积结果相加的这么一个单位映射。所

有卷积层的步长为1，pading为1，不改变数据尺寸，只对数据深度(channel)进行变更。

Hourglass Module

单个residual结构了解了之后，我们再来看之前提到过的整体的hourglass Module。我们说过每个长方体都对应着一个residual Module，实际上还是有一点不够严谨，因为在整个hourglass Module中还存在这maxpool层和upsample层来进行下采样和上采样来改变输入特征图的分辨率。完整的hourglass module应该如下图：

Intermediate Supervisioin(中继监督)

首先看一张原文中的图

原文对此给出的解释是“Illustration of the intermediate supervision process. The network splits and produces a set of heatmaps (outlined in blue) where a loss can be applied. A 1x1 convolution remaps the heatmaps to match the number of channels of the intermediate features. These are added together along with the features from the preceding hourglass.”

跟之前文章提到的CPM一样，hourglass也使用了中继监督，针对每一个单独的hourglass module，我们都使用中继监督来进行预测得到heatmap的损失。

在上图中，上一行的路中，每个hourglass模块后面跟着两个卷积核，来得到本模块的输出并作为下一个模块输入的一部分，下面那一条路得到heatmap作为输出进行loss计算。

事实上整个stacked hourglass network就是堆叠这样的hourglass module，每个Hourglass Module的loss单独计算。

reference:Adia：论文笔记Stacked Hourglass Networks​zhuanlan.zhihu.com