人流密度估计调研报告

1.1人群聚集程度技术方案调研
常见问题：
a)低分辨率：可以看看UCF Crowd Counting 50这个数据集，在很多密集的情况下，一个人头的pixel可能只有5*5甚至更小，这就决定了基于检测的很多方法都行不通；
b)遮挡严重：在人群中，头肩模型都难以适用更不用说人体模型，头部之间的遮挡都挺严重；
c)透视变换：简而言之就是近大远小，什么尺度的头部都可能出现。
1.1.1.人群聚集程度估计的方案
①直接估计（该方法暂时不考虑）
直接估计就是以检测为主，通过对检测到的人的图像距离进行判断或者通过检测到的人的数量进行判断，是否为聚集程度较高人群。这种方法在一些低密度且人头或者目标人大小较为合适的情况下还是能得到不错的效果。
如下图所示可以根据图像上距离较近的人的人数来评估其是否为聚集性人群；

②间接估计
基本是以特征提取+回归结构为主，
大致步骤为：前景提取、体征提取、回归计数

现有人群密集程度评估模型及模型进行部署方案评估
1、MSCNN
多尺度卷积实现密集人群计数的经典之作，该网络以多尺度团为基础，能够在单列结构中生成与尺度相关的特征，从而获得较高的人群计数性能。

开源代码连接：https://github.com/Ling-Bao/mscnn
有数据集（百度网盘）
所用框架为：tensorflow
2、Single Image crowd counting using Multi-Column CNN（MCNN）
使用的框架为tensorflow，主要解决的是任意相机与任意角度图像的密集人群计数面临的难题，主要思想为从对密集人群分布、前景提取、人群分割等角度来解决密集人群计数的难题，主要的网络结构为：MCNN，模型结构示意图如图下所示

该网络模型适用于有效地捕获高级语义信息（面部/身体检测器）和低级特征（斑点检测器），这一点对于大规模变化下的人群计数是必需的。
该方法的缺点是在人群重叠度较大时效果不好；
有开源代码：https://github.com/aditya-vora/crowd_counting_tensorflow
有训练数据集（百度网盘链接）
所用框架为：tensorflow
3、CrowdNet
摄像机附近的人通常被捕获在很大程度上的细节，即他们的脸部以及有时他们的整个身体被捕获。然而，在人们远离相机或从空中视点捕获图像的情况下，每个人仅被表示为头部斑点head blob。在这两种情况下对人的有效检测要求模型在高度语义水平（面部/身体检测器）同时操作，同时还识别低级别的头部模式。我们的模型使用深度和浅层卷积神经网络的组合来实现这一点。为了解决相机的角度不同、算法的兼容性问题，提出了一个相关学习的网络，主要从对人群密度和人群计数两个方面进行交叉训练。网络模型结构简图如下所示：

暂未找到开源代码，作者文中提到是用caffe做的。
4、cross-scene crowd counting
常规的人群CNN模型主要目标是学习一个映射 F： X-> D，其中 X 是一组从训练图像中提取的 low-level 特征，D是图像对应的人群密度图。假定每个人的位置被标记，密度图的创建基于人的空间位置、人体形状、图像的视角变形。从训练图像中随机的选择图像块作为训练样本，图像块对应的密度图作为 CNN模型的真值。作为一个附带的目标，所选图像块中总的人数通过对密度图积分计算得到。注意这里得到的总人数是一个小数，不是整数。如下图所示：

从上图我们可以看到三个特征：①因为视角原因，图像中的人是多尺度的；②人的形状更符合椭圆；③因为严重的遮挡，人的头和肩膀是主要信息用于判断某个位置是否有人存在，人的躯干不是很稳定的信息；
为了解决这个问题，有人提出了如下公式：

通过perspective map和人头的位置信息，可以创建人群密度图，perspective map M§ 像素值表示在位置p实际场景一米对应的图像有多少个像素个数。其网络结构如下图所示：

网络的输入是从训练图像中随机裁的图像块，为了获得行人的相同尺度，根据图像块中心点对应的 perspective value 来选出的图像块位置。这里我们约束我们的每个图像块覆盖的实际尺寸为 3m3m ，然后图像块被缩放到 7272 像素大小输入 CNN 模型。CNN网络模型如下图所示：

测试结果如下图所示：

该方法受限于使用场景，因为以人的身高为基准进行比例尺估算，可能不准；在进行不同场景融合时对数据集的依赖性较大；
可借鉴之处：以人的身高为基准进行人群密度图估计；使用密度图和人群计数两个目标特征来训练网络；

结论：
①MCNN网络能够基本满足需求，具备人头、身体检测能力及密集、低分辨率情况下斑点人头检测的能力，可以暂时做为首选，后续可以借鉴以人的身高为基准进行人群密度图估计的方法进行优化。给定一张图像，用CNNs来估计人数，一般有两种方案：一是输入图像，输出估计的人头数目；二是输出的时人群密度图（每平方米多少人），然后再通过积分求总人数，MCNN同时具备这两种功能；另外MCNN网络模型的框架为tensorflow（也有caffe版本的），其产出的模型可以转为rknn模型在计算棒上使用。其缺点是在人群重叠程度太大是效果不好（具备斑点人头检测功能的，针对一般聚集性人群可以做到很好的评估效果），一般情况下其预测准确率可以达到93%左右，如下图所示：

②考虑到效果方面，如果可以找到CrowdNet的开源代码或模型，优先考虑使用crowdnet，在更密集人群估计方面其效果要好于MCNN；

③建议：先把所使用的模型确定下来，在PC进行网络训练或模型效果测试，在效果不太理想的情况下可以使用透视变化的思想，把图片分成若干块分别放入网络中估计，以期提升其评估效果；如果满足需求可以考虑在801端实现，后续优化时在考虑加入变焦的思路。

网络的直接输出是一个人群密度估计图，从中可以得到的整体计数。人群密度图转为人数的过程：
①前景分割：前景（行人或人群）分割的目的是将人群从图像中分割出来便于后面的特征提取，分割性能的好坏直接关系的最终的计数精度，因此这是限制传统算法性能的一个重要因素。常用的分割算法有：光流法、混合动态纹理、小波分析、背景差分等。
②特征提取：从分割得到的前景提取各种不同的底层特征，常用的特征有：人群面积和周长、边缘信息、纹理特征、闵可夫斯基维度等。
③人数回归：将提取到的特征回归到图像中的人数。常用的回归方法有：线性回归、分段线性回归、脊回归、高斯过程回归等。
给定一张图像，用CNNs来估计人数，一般有两种方案：一是输入图像，输出估计的人头数目；二是输出的时人群密度图（每平方米多少人），然后再通过积分求总人数。
密度图保留更多的信息。与人群的总数相比，密度图给出了在给定图像中人群的空间分布，这样的分布信息在许多应用中是有用的。

人流密度估计调研报告相关推荐

[万字长文]　人脸识别初步调研报告
人脸识别初步调研报告 Contents 背景应用背景硬件背景技术背景相关公司及 app 著名公司非著名公司相关app 人脸识别业务总结人脸识别攻防产品使用对比应用及开源实现公开数据 ...
关于校园交通的调研报告
引言:在大一一年的日常生活中,仅针对校内交通而言,发现存在一些问题,包括行人与自行车混杂,高峰时段交通拥堵问题,自行车乱放导致拥堵 ,有需要时找不到代步工具等.这些问题给出行带来不良影响,而且存在着一 ...
智源发布人脸识别与公共卫生调研报告
为了促进人工智能成为推动"健康社会"形成的使能技术之一,推动人工智能应用于全球可持续发展,北京智源人工智能研究院人工智能伦理与安全研究中心联合中国科学院自动化研究所中英人工智能伦理 ...
2016年金融全行业网络安全状况调研报告
本报告由谷安天下和乌云联合发布,并感谢网贷之家.支付圈.安全值.安全牛等媒体和机构提供数据来源. 金融行业网络安全调研概述报告背景近两年来互联网金融飞速发展,不同于传统金融,依托于互联网的新的金融 ...
SANS：2014年安全分析与安全智能调研报告
2014年10月份,紧接着2014年度日志管理调研报告(Log management survey),SANS又发布了2014年度的安全分析与智能调研报告(Analytics and Intellig ...
6万广州人坐过无人出租车，过半月薪一万以上 | 中国首份Robotaxi乘客调研报告...
李娅宁发自副驾寺智能车参考报道 | 公众号 AI4Auto 原来广州人民才是真名媛.真凡尔赛. 上下班车接车送,过半数的人月收入万元以上,78%以上都是本科以上学历-- 而且这个车,还不是人 ...
全球及中国血液透析行业发展规模与前景动态调研报告2022版
全球及中国血液透析行业发展规模与前景动态调研报告2022版 ------------------------------------- <出版单位>:鸿晟信合研究院[专员客服对接] &l ...
中国呼吸道防护劳保用品市场投资效益与销售前景调研报告2022年
中国呼吸道防护劳保用品市场投资效益与销售前景调研报告2022年 ··························· <修订日期>:2022年1月 <专员对接>:周文文 &l ...
中国冶金工业节能减排行业十四五投资动态与运营方向调研报告2022-2027年
中国冶金工业节能减排行业十四五投资动态与运营方向调研报告2022-2027年 ··························· <修订日期>:2022年1月 <专员对接> ...

人流密度估计调研报告

人流密度估计调研报告相关推荐

最新文章

热门文章