Boosting Crowd Counting with Transformers

TAM与RTM（人群计数）

提出问题：

通过将更大的上下文集成到卷积神经网络（CNN）中，在人群计数问题上取得了重大进展。

解决方法：

研究了全局上下文在人群计数中的作用。提出了两个新的模块：token注意模块（TAM）和回归token模块（RTM）。

引入token注意模块（TAM）来细化由上下文token通知的编码特征。

使用回归token模块（RTM）进一步指导上下文token的学习，该模块在人群总数的回归中容纳辅助损失

提出的TAM模块旨在解决vision transformer中的多头自注意力（MHSA）仅模拟空间交互的观察问题，而经过验证的真实通道交互也被证明具有至关重要的有效性。为此，TAM通过特征通道的条件重新校准将上下文token印在本地token上，因此显式地建模了通道相关性。

通过具有全局背景的学习特征，提供了密度监督人群计数的另一个视角。框架解决了CNN在捕获人群计数问题的全局背景方面的不足。

重叠拆分。在流行的ViT[50]中，输入图像被分割成非重叠的面片，导致面片周围的局部结构被破坏的问题。相反，我们将输入分割成重叠的面片。

损失函数：

学习密度图的损失是计数损失、最佳传输损失[82]和变化损失的组合,与CCTrans相同。

实验结果：

Boosting Crowd Counting with Transformers相关推荐

Boosting Crowd Counting via Multifaceted Attention之人群密度估计实践
这周闲来无事,看到一篇前不久刚发表的文章,是做密集人群密度估计的,这块我之前虽然也做过,但是主要是基于检测的方式实现的,这里提出来的方法还是比较有意思的,就拿来实践一下. 论文在这里,感兴趣可以看下. ...
Crowd Counting论文小结（持续更新）
Crowd Counting论文小结(持续更新) CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly ...
人群计数（Crowd Counting）研究综述
52CV曾经报道过两篇关于人群计数的新出论文(可在精华文章汇总中找到),皆获得不少关注,今天的文章来自复旦大学计算机的在读博士老田和电闪雷鸣为我们介绍人群计数的相关技术和进展,想对此方向有更全面把握的 ...
【论文汇总】RGB-T/D Crowd Counting论文汇总
[RGBT-CC] Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Cro ...
人群密度估计--Structured Inhomogeneous Density Map Learning for Crowd Counting
Structured Inhomogeneous Density Map Learning for Crowd Counting https://arxiv.org/abs/1801.06642 针对 ...
人群密度估计--Leveraging Unlabeled Data for Crowd Counting by Learning to Rank
Leveraging Unlabeled Data for Crowd Counting by Learning to Rank CVPR2018 https://github.com/xialeil ...
人群密度估计--Crowd Counting Via Scale-adaptive Convolutional Nerual Network
Crowd Counting Via Scale-adaptive Convolutional Nerual Network https://arxiv.org/abs/1711.04433v2 Co ...
人群密度估计--Learning a perspective-embedded deconvolution network for crowd counting
Learning a perspective-embedded deconvolution network for crowd counting 没有找到代码本文在人群密度估计这个问题上的创新点: ...
越线人群计数--Crossing-line Crowd Counting with Two-phase Deep Neural Networks
Crossing-line Crowd Counting with Two-phase Deep Neural Networks ECCV2016 人群计数有两种做法:1) region-of-int ...