人群密度估计最新数据集NWPU-Crowd 最新研究进展

人群密度估计-NWPU-Crowd数据集

该数据集是由Qi Wang等人于2020年1月10日公开，论文题为：NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting.

数据集开源链接： http://www.crowdbenchmark.com/

论文开源代码链接：https://github.com/gjy3035/NWPU-Crowd-Sample-Code

以往数据存在的问题

1. 数据集不足。基于CNN的方法都是需要庞大的数据集做支撑的，由于现存的人群密度数据集规模太小，基于深度学习的方法很难避免过拟合；

2. 没有一个相对公正的评价标准。像其他领域，KITTI，CityScapes和Microsoft COCO，允许研究人员提交测试集的结果进行公正的评价。所以一个公正的评价平台对于该领域的发展至关重要。

NWPU-Crowd数据集的优势

1. 目前为止在人群密度估计方面最大的数据集，拥有5109张图片和2133238个标注实体；

2. 内含一些负样本，比如极高密度的人群，这样可以提高训练模型的鲁棒性；

3. 图片的分辨率相比其他数据集更高；

4. 且单张图片的标注实体数量范围非常大，区间是[0,20033]；

5. 提供了一个公平的平台网站，供研究人员提交测试集的计算结果，然后计算出MSE/MAE。

NWPU-Crowd与其他数据集的详细对比

NWPU-Crowd数据集展示

第一列：正常亮度下的典型样本；第二列和第三列分别是曝光和极暗情况下的样本；第四列是负样本，包括密度极高/其他非人群实体。

NWPU-Crowd数据集上进行实验

解释：“FS”表示没有引入预训练模型参数；S0 ∼ S4 表示五个数量级类别：0，(0; 100]，(100; 500]，(500; 5000]和 ≥ 5000；L0 ∼ L2 分别表示在测试集上的三个亮度级别：[0; 0:25]，(0:25; 0:5]和 (0:5; 0:75]；另外 speed 和 FLOPs 是在 input size = 576 × 768之上计算的；最后红、蓝、绿分别表示第一、第二、第三名。

备注：实验中，PCC-Net和BL都是基于官方代码和默认参数训练的。对于SANet，则是基于论文实现的 $C^{3}$ Framework。对于其他模型如：MCNN，CSRNet，C3F-VGG，CANNet，SCAR和SFCN，则是基于 $C^{3}$ Framework（Pytorch开源项目）重构的。

引入新的问题

1. 已有模型的抗噪声能力有待提高；现实场景很多时候都会有大量背景干扰因素，因此负样本对于模型的训练来说十分有必要；

2. 类别间影响有待解决；由于NWPU-Crowd数据集庞大，不同场景下的实体间外观差异极大，这对于训练模型是个不小的挑战；

3. 极高密度的人群密度估计仍是难题；已有的模型对于S4的结果表现仍然非常差。

人群密度估计-最新研究进展

C3F：基于Pytorch的开源人群计数框架

这个框架是由Junyu Gao团队研发出来的。

引自Junyu Gao在知乎上的介绍：“近两年，有关人群计数的文章呈现出爆炸式增长。然而，人群计数不像其他任务（目标检测、语义分割等）有着简洁/易开发的开源代码框架，大大降低了我们对于idea的验证效率。因此在2018年12月份，我萌生了自己搭一个人群计数框架的想法，尽可能兼顾当前主流数据集和主流算法。并于2019年3月底基本完成了主体框架。代码发布之后，由于缺少对于代码细节的文档介绍，issues和emails让人应接不暇。所以，在这里对该项目做一个代码层面上的介绍，并辅之以一些实验分析来帮助大家有效提高网络性能。更重要地，希望能够抛砖引玉，让大家利用C3F，更高效地研究出性能更好的人群计数网络，推动该领域的发展。”

上图为C3F的算法流程图。

原文的文末写道：“本项目旨在提供一个简单、高效、易用、灵活的人群计数框架，方便新手快速上手入门、资深研究者高效实现idea以及最大化模型性能。本技术报告则是对该项目的一个简单介绍，使大家能够对我们的项目有一个更深的理解，这样用起来也会更加顺手，最大化框架的使用度。”

下面实验同样引自Junyu Gao在知乎中的发表的原文：“将复现的所有算法在SHT B上的性能展示出来，方便大家做最终的对比。我们发现，得益于ResNet-101强大的学习能力，以其为Backbone的人群计数器在MAE和MSE指标上超越了其他所有算法。此外，我们还发现，对于有预训练参数的网络，甚至可以不需要对网络进行过多的设计，例如Dilated Conv、Multi-column Conv、Scale Aggregation等，就可以达到一个较好的结果。”

下面贴出他们的实验结果：

C3F开源项目代码地址：https://github.com/gjy3035/C-3-Framework

此项目最后更新于于2020年3月1日，基于Python 3 | Pytorch 1.0。

参考资料

1. Wang Q , Gao J , Lin W , et al. NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting[J]. 2020.

2. Gao J , Lin W , Zhao B , et al. C^3 Framework: An Open-source PyTorch Code for Crowd Counting[J]. 2019.

3. 知乎：C^3 Framework系列之一：一个基于PyTorch的开源人群计数框架

4. Github：gjy3035 / Awesome-Crowd-Counting