论文解读 CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes

abstract

1.提出CSRNet是为了处理非常密集的场景，提供准确的计数和密度图
2.提出的CSRNet主要两部分组成：提取二维特征的CNN做前端，膨胀的CNN做后端，膨胀的卷积核是为了获得更大的感受野，取代池化操作。
3.在四个人群数据集都获得了很好的结果，并且在交通的数据集上也有很好的表现

introduction

1.密度图的重要性：同样的人数可能有完全不同的分布。
2.产生密度图的困难之处在于：

预测方式：逐像素预测，相邻像素有空间相关性
多样化的场景

3.深度神经网络在其他cv任务上表现出优势，硬件上也有优势，适用于密度估计。
4.多尺度结构的劣势：训练时间长+无效分支结构，实验说明分支无效性
5.介绍CSRNet的大致结构及在各数据集上取得的结果：为了降低网络复杂度，只使用3*3的卷积；前10层是VGG-16；后面是膨胀卷积层
6.介绍文章结构

related work

基于检测的方法
基于回归的方法
基于密度估计的方法
基于卷积神经网络的方法
目前state-of-the-art方法的缺陷：基于MCNN结构，出现以下问题：难训练；结构冗余；图片输入MCNN前需要根据密度分级，分级很难且分类器增加网络的冗余；密度分级占了很多参数，导致密度图生成的精度降低

proposed solution

CSRNet architecture

1.其他网络使用VGG-16的劣势，介绍本文如何利用VGG-16：前段网络利用VGG-16，首先移除分类部分（fc层），利用卷积层构建CSRNet，前端网络输出的大小是输入图片的1/8。为了保证高精度，不再堆叠卷积层和池化层，转而使用膨胀CNN做后端

dilated convolution

膨胀卷积的定义如上。下图更好理解一些。

膨胀卷积的好处在于扩展的感受野的同时并没有增加参数，聚合多尺度空间信息时，保持同样的分辨率。
最后举例说明膨胀卷积的好处。

network configuration

提出了四种网络的配置，具体网络结构如下：

要把握精确度和资源消耗的平衡，结构细节最终是由实验确定的。利用双线性插值将CSRNet输出的原图1/8大小的密度图恢复到原图大小。

training method

1.真值图生成时人头大小取到某人头到k个最近邻的人头距离的平均值
2.数据增强：常规的裁剪、镜像操作
3.训练细节：随机梯度下降法+欧式距离

experiments

1.介绍评价指标：MAE/MSE
2.ablation：比较不同的膨胀率给网络带来的影响，膨胀率为2的时候最好
3.分别在五个数据集上和其他方法进行比较，遵循先介绍数据集，再介绍实验结果的写作方法。其中TRANCOS是一个交通数据集，评价指标使用GAME

conclusion

1.CSRNet:产生高质量的密度图，便于训练
2.膨胀卷积：整合多尺度的上下文信息，不损失精度的前提下扩展感受野
3.CSRNet方法有一般性