Crowd Counting领域论文阅读
CrowdNet: A Deep Convolutional Network for Dense Crowd Counting
本文使用 deep and shallow, fully convolutional networks 两个网络相结合实现,网络结构如下:
解决的问题
高度密集的人群图像遭受严重的遮挡,可以从各种角度捕获人群图像,从而引入透视问题。但这会导致人群的比例缩放不均匀。此外,注释高度密集的人群图像很难,这使得创建大规模人群计数数据集变得不可行,并且限制了可用于基于学习的方法的训练数据量。
主要的思想
Deep Network
主要用捕获 high-level semantics 信息,采用一个类似 VGG网络的结构,去掉了全连接层,使得网络变成了全卷积层。同时原来的 VGG网络使用了5个 max-pool layers each with a stride of 2,最终的特征图大小只有输入图像尺寸的1/32。因为需要输出像素级别的人群密度估计图,所以 set the stride of the fourth max-pool layer to 1 and remove the fifth pooling layer,这样最终的特征图大小只有输入图像尺寸的 1/8.将第四最大池化层的步长设置为1会导致 the receptive-field mismatch, 这里使用了文献【4】中的 膨胀卷积。其结果就相当第四最大池化层的步长设置为2。
Shallow Network
使用一个 shallow convolutional network 主要用于检测远离相机的人头。
Combination of Deep and Shallow Networks
这里连接Deep and Shallow Networks 的输出,输入图像尺寸的 1/8, 使用一个 1x1 convolution layer, 再使用双线性插值将样本上采样到输入图像的大小,以获得最终人群密度预测。
Ground Truth
通过使用归一化为一个总和的高斯核简单地模糊每个头部注释来生成Groud Truth.
数据扩充
1)多尺度采样
2)对容易错误的样本多训练几次
Single-Image Crowd Counting via Multi-Column Convolutional Neural Network
本文提出了一种简单有效的的多列卷积神经网络结构(MCNN)将图像映射到其人群密度图上,可以从一个单幅的图像中准确地估计任意人群密度和任意角度的人群数目。
解决的问题
在大多数现有的工作中,前景分割必不可少,但前景分割是项艰巨的任务;人群的密度和分布会有显著变化,因此传统的基于目标检测的模型很难work well;需要一种有效的特征来针对图像中人群规模可能有显著变化的情况。
主要的贡献
1)MCNN是包含了三列具有不同滤波器大小的卷积神经网络。采用多列架构的原因是:三列对应于不同大小的感受野(大,中,小),使每个列卷积神经网络的功能对由于透视或不同的图像分辨率造成的人/头大小变化是自适应的。
2)用一个1*1滤波器的卷积层代替了完全连接的层,因此模型的输入图像可以是任意大小的,避免了失真。网络的直接输出是一个人群密度估计图,从中可以得到的整体计数。
3)收集了一个新的数据集Shanghaitech dataset 用于人群计数方法的评价。
MCNN
先将带有标签的人头图像转换为人群密度图。为了使得密度图能够更好地与不同视角(不同人头大小)且人群很密的图像对应起来,作者对传统的基于高斯核的密度图做了改进,提出了基于几何适应高斯核的密度图,由下式表示:
MCNN主要是受到MDNNs在图像分类上取得成功的启发而提出来的。MCNN网络的每一列并行的子网络深度相同,但是滤波器的大小不同,因此每一列子网络的感受野不同,能够抓住不同大小人头的特征,最后将三列子网络的特征图做线性加权(由1x1的卷积完成)得到该图像的人群密度图,类似模型融合的思想。采用了2*2的max-pooling和ReLU激活函数。(注意,因为这里用到了两次max pooling,所以需要先对训练样本也缩小到1/4,再生成对应的密度图ground truth)
损失函数如下式:
Experiment
MCNN比Single column CNNs的MAE和MSE都要低,MCNN比没有预训练的MCNN性能有所提高。
存在的问题
这些方法能相对压制尺度变化问题,但是仍存在两个缺点:多列/多网络需要预训练但网络for global optimization,比端到端训练更复杂;多列/多网络会引入更多的参数,消耗计算资源,难以实际应用。
Crowd Counting领域论文阅读相关推荐
- 语音情感识别领域-论文阅读笔记1:融合语音和文字的句段级别情感识别技术
语音情感识别领域-论文阅读笔记1 Fusion Techniques for Utterance-Level Emotion Recognition Combining Speech and Tran ...
- 《Multi-scale Convolutional Neural Networks for Crowd Counting》论文笔记
Multi-scale Convolutional Neural Networks for Crowd Counting 论文地址 论文翻译 ABSTRACT 1. INTRODUCTION 2. M ...
- Moir´e Photo Restoration Using Multiresolution Convolutional Neural Networks 摩尔纹领域论文阅读复现
写在前面 最近去广图借了几本书,啃了一下pytorch相关的书,大概了解了这个框架内部一些常用的API,马上就开始推进摩尔纹的进度,挑了这篇领域内的经典论文来品读并且复现. 本次论文复现的github ...
- 【论文汇总】RGB-T/D Crowd Counting论文汇总
[RGBT-CC] Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Cro ...
- crowd counting——利用高斯核函数将坐标点转换为density map
在Crowd counting领域,常用的训练方法是estimate density map,这种数据可利用高斯核函数得来,在MCNN论文中有具体过程: 也可参加这篇博客:https://blog.c ...
- 【MAFNet】 A Multi-Attention Fusion Networkfor RGB-T Crowd Counting解读
论文:https://arxiv.org/abs/2208.06761 二作是Junyu Gao,github上awesome-crowd-counting千星的作者.推荐一下他的github:Git ...
- Learning from Synthetic Data for Crowd Counting in the Wild 论文阅读笔记
Learning from Synthetic Data for Crowd Counting in the Wild 论文阅读笔记 发表:CVPR 2019 人群计数任务在多变的环境,大范围的人群中 ...
- 《Improved Crowd Counting Method Based onScale-Adaptive Convolutional Neural Network》论文笔记
<Improved Crowd Counting Method Based onScale-Adaptive Convolutional Neural Network>论文笔记 论文地址 ...
- 论文Depth Information Guided Crowd Counting for Complex Crowd Scenes
Depth Information Guided Crowd Counting for Complex Crowd Scenes 摘要 出于城市安全的考虑,监控和分析人群拥挤事件是非常重要的.在一张拥 ...
最新文章
- LeetCode 1347. 制造字母异位词的最小步骤数
- 目标检测如何计算召回率_计算机视觉目标检测的框架与过程
- java 指代对象_06JAVA面向对象之封装
- python可以手眼定标吗_手眼标定 相关实例(示例源码)下载 - 好例子网
- 解决ubuntu中zabbix 4.2图形显示乱码
- python难学吗-我没有基础,能否学会Python?Python难吗?
- 51nod 1640 天气晴朗的魔法
- 数据绑定的优点_轻松应对海量数据,TiDB 在车好多的实践
- xboxones手柄驱动_年轻人的第一个全能型手柄——北通阿修罗3手柄体验
- 改 主机名 后 虚拟机 不能启动
- 数据库导出的excel文本变为科学计数法
- 回荡口过新年,独特江南水乡年味体验 冰雪非遗贺新年,荡口古镇春节嗨不停!
- 外地新能源汽车迁入北京需要哪些条件?
- 同一个图表创建双坐标轴,显示多个图例
- Ionic移动app开发:app登录实现完整过程
- 如何调整屏显时间_电脑怎么设置自动关闭显示器的时间?
- 微信小程序----布局适配与物理逻辑像素
- 将vue页面文本导出到word,并设置页眉页脚,分页打印相关讲解--高级版
- Super Jumper:一个2DOpenGL ES游戏
- 博客项目学习笔记十二:登录注册功能(登录)