CVPR小目标检测：上下文和注意力机制提升小目标检测（附论文下载）
计算机视觉研究院专栏
作者：Edison_G
CVPR21文章我们也分享了很多最佳的框架，在现实场景中，目标检测依然是最基础最热门的研究课题，尤其目前针对小目标的检测，更加吸引了更多的研究员和企业去研究，今天我们“计算机视觉研究院”给大家分享一个小目标检测精度提升较大的新框架！
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
论文：
https://arxiv.org/pdf/1912.06319.pdf
1
简要
在各种环境中应用目标检测算法有很多局限性。特别是检测小目标仍然具有挑战性，因为它们分辨率低，信息有限。
有研究员提出了一种利用上下文的目标检测方法来提高检测小目标的精度。该方法通过连接多尺度特征，使用了来自不同层的附加特征作为上下文。研究员还提出了具有注意机制的目标检测，它可以关注图像中的目标，并可以包括来自目标层的上下文信息。实验结果表明，该方法在检测小目标方面的精度高于传统的SSD框架。
2
背景
下图显示了SSD框架无法检测到小目标时的案例情况。对小目标的检测还有很大的改进空间。
由于低分辨率低，像素有限，小目标检测很困难。例如，通过只看下图上的目标，人类甚至很难识别这些物体。然而，通过考虑到它位于天空中的背景，这个物体可以被识别为鸟类。因此，我们认为，解决这个问题的关键取决于我们如何将上下文作为额外信息来帮助检测小目标。
3
新框架分析
新框架将从基线SSD开始讨论，然后是研究者提出的提高小目标检测精度的组件。首先，SSD与特征融合，以获取上下文信息，名为F-SSD；第二，带有保留模块的SSD，使网络能够关注重要部件，名为A-SSD；第三，研究者结合了特征融合和注意力模块，名为FA-SSD。
F-SSD: SSD with context by feature fusion
为了为给定的特征图（目标特征图)在我们想要检测目标的位置提供上下文，研究者将其与目标特征层更高层次的特征图(上下文特征）融合。例如，在SSD中，给定我们来自conv4_3的目标特性，我们的上下文特征来自两层，它们是conv7和conv8_2。
虽然新框架的特征融合可以推广到任何目标特征和任何更高的特征。然而，这些特征图具有不同的空间大小，因此研究者提出了如上图所示的融合方法。在通过连接特征进行融合之前，对上下文特征执行反卷积，使它们具有与目标特征相同的空间大小。将上下文特征通道设置为目标特征的一半，因此上下文信息的数量就不会超过目标特征本身。仅仅对于F-SSD，研究者还在目标特征上增加了一个额外的卷积层，它不会改变空间大小和通道数的卷积层。
此外，在连接特征之前，标准化步骤是非常重要的，因为不同层中的每个特征值都有不同的尺度。因此，在每一层之后进行批处理归一化和ReLU。最后通过叠加特征来连接目标特征和上下文特征。
A-SSD: SSD with attention module
如上图，它由一个trunk分支和一个mask分支组成。trunk分支有两个残差块，每个块有3个卷积层，如上图d所示；mask分支通过使用残差连接执行下采样和上采样来输出注意图（图b为第一阶段和图c为第二阶段)，然后完成sigmoid激活。残差连接使保持下采样阶段的特征。然后，来自mask分支的注意映射与trunk分支的输出相乘，产生已参与的特征。最后，参与的特征之后是另一个残差块，L2标准化，和ReLU。
FA-SSD: Combining feature fusion and atten- tion in SSD
研究者提出了以上的两个特征的方法，它可以考虑来自目标层和不同层的上下文信息。与F-SSD相比，研究者没有在目标特征上执行一个卷积层，而是放置了one stage的注意模块，如下图所示。
4
实验
ResNet SSD with feature fusion + attention module (FA- SSD)
红色框是GT，绿色框是预测的
注意力模块的可视化。有些通道关注目标，有些通道关注上下文。conv4_3上的注意模块具有更高的分辨率，因此与conv7上的注意相比，可以关注更小的细节。
© THE END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
扫码关注
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
往期推荐
计算机视觉研究院专栏 作者:Edison_G CVPR21文章我们也分享了很多最佳的框架,在现实场景中,目标检测依然是最基础最热门的研究课题,尤其目前针对小目标的检测,更加吸引了更多的研究员和企业去研 ... 原论文下载:https://arxiv.org/pdf/1912.06319.pdf 摘要 在各种环境中应用目标检测算法有很多局限性.特别是小目标的检测仍然是一个挑战,因为它们的分辨率低,信息有限.为 ... 编者按:个性化新闻推荐是新闻行业必然的发展方向,在其实现过程中面临着三个关键问题,即分析用户兴趣.根据新闻内容建模和新闻排序.本文将这三个问题划归为新闻信息与用户兴趣的多样性问题,并由此出发,提出了基 ... 编者按:个性化新闻推荐是新闻行业必然的发展方向,在其实现过程中面临着三个关键问题,即分析用户兴趣.根据新闻内容建模和新闻排序.本文将这三个问题划归为新闻信息与用户兴趣的多样性问题,并由此出发,提出了基 ... 前言 此前出了目标改进算法专栏,但是对于应用于什么场景,需要什么改进方法对应与自己的应用场景有效果,并且多少改进点能发什么水平的文章,为解决大家的困惑,此系列文章旨在给大家解读最新目标检测算法论文,帮 ... 基于卷积神经网络和注意力机制的人眼闭合检测算法 前言 卷积神经网络 注意力机制 数据集 源代码 致谢 结语 前言 卷积神经网络 近年来,基于神经网络的识别方法已经成为一个热门的研究专题,该方法可用于特 ... 来源:机器之心 本文提出了 VISTA,一种新颖的即插即用多视角融合策略,用于准确的 3D 对象检测.为了使 VISTA 能够关注特定目标而不是一般点,研究者提出限制学习的注意力权重的方差.将分类和回 ... ©作者 | 邓圣衡.梁智灏.孙林.贾奎 来源 | 机器之心 本文提出了 VISTA,一种新颖的即插即用多视角融合策略,用于准确的 3D 对象检测.为了使 VISTA 能够关注特定目标而不是一般点,研究 ... 点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 注:帮一位朋友介绍工作,欢迎大家star. Attention-guided Co ...CVPR小目标检测：上下文和注意力机制提升小目标检测（附论文下载）相关推荐
最新文章
热门文章