【神经网络架构】Pyramidal Convlution(PyConv)：金字塔卷积，“即插即用“，提升你的网络性能

2024-05-15 04:59:41

论文链接：https://arxiv.org/pdf/2006.11538.pdf
源码链接：https://github.com/iduta/pyconv

今年论文提出很多在一般backbone上通过添加小模块用于提升分类分割目标检测等任务的精度。下面介绍DeepMind提出的Pyramidal Convolution:Rethinking Convolutional Neural Networks for Visual Recognition

Motivation

尽可能引入少的参数和计算代价，增大backbone的感受野

Method

类似Inception分支和ASPP模块，提出使用不同卷积核的多分支网络。与类似模块大部分使用不同空洞卷积核的是PyConv提出使用分组卷积的思想。PyConv中多分支使用不同大小的卷积核，论文中包括33，55，77，99的卷积核。一般的，较小的卷积核感受野较小，可以得到小目标和局部细节信息。较大的卷积核感受野较大，可以得到大目标和全局语义信息。分组卷积是将输入特征图切分成不同组，使用卷积核独立处理。论文中提出两个版本，PyConv和PyHGConv。PyConv中使用相对较小的分组数，包括16，8，4，2。PyHGConv使用较大的分组数，包括32和64。在backbone结合时考虑到特征图的空间尺寸减小，分支数逐渐减少。最初阶段特征图通过四个分支，最后阶段特征图仅使用一个分支。语义分割任务中在一般网络中添加局部PyConv模块和全局PyConv模块。这两个模块都包括使用1*1卷积将通道数增加到512，后使用四分支的PyConv模块，卷积核包括9，7，5，3，分组数分别为16，8，4，2。不同的是全局PyConv模块需要使用Adaptive平均池化层减少特征图大小同时提取全局特征。PyConv分支后使用上采样恢复原始尺寸。之后将局部PyConv提取的特征和全局PyConv提取的特征合并。

Experiment

该模块在ImageNet图像分类数据集任务上表现如下：

近年知名插件比较如下：

该模块在ADE20k语义分割数据集上表现如下：

【神经网络架构】Pyramidal Convlution(PyConv)：金字塔卷积，“即插即用“，提升你的网络性能相关推荐

67页综述深度卷积神经网络架构：从基本组件到结构创新
点击我爱计算机视觉标星,更快获取CVML新技术本文为52CV群友王广胜对上个月更新的CNN综述文章A Survey of the Recent Architectures of Deep Convo ...
金字塔卷积 Pyramidal Convolution
作者认为,当前CNN主要存在两个不足:(1)实际的感受野不足:(2)在下采样中,很多的细节信息会丢失. 从图中可以看出,有的物体尺寸较大(建筑.沙发),有的物体尺寸较小(行人,书本).这种尺寸的变化是 ...
卷积神经网络原理_怎样设计最优的卷积神经网络架构？| NAS原理剖析
虽然,深度学习在近几年发展迅速.但是,关于如何才能设计出最优的卷积神经网络架构这个问题仍在处于探索阶段. 其中一大部分原因是因为当前那些取得成功的神经网络的架构设计原理仍然是一个黑盒.虽然我们有着关于 ...
论文解读丨基于局部特征保留的图卷积神经网络架构(LPD-GCN)
本文分享自华为云社区<论文解读:基于局部特征保留的图卷积神经网络架构(LPD-GCN)>,原文作者:PG13 . 近些年,很多研究者开发了许多基于图卷积网络的方法用于图级表示学习和分类应用 ...
机器视角：长文揭秘图像处理和卷积神经网络架构
本文转自机器之心编译的一篇国外论文,机器之心原文地址引言先坦白地说,有一段时间我无法真正理解深度学习.我查看相关研究论文和文章,感觉深度学习异常复杂.我尝试去理解神经网络及其变体,但依然感到困难. ...
Unet卷积神经网络架构
UNet 是一种卷积神经网络架构,通常用于图像分割任务.它是由Olaf Ronneberger,Philipp Fischer和Thomas Brox在2015年提出的.论文题目:"U-Ne ...
卷积神经网络架构不包含,卷积神经网络架构分析
卷积神经网络结构基本单元层有哪些? . 输入层:输出特征矩阵卷积层:进行卷积运算池化层:进行pooling缩小维度中间激活层:可有可无,一般为ReLU类的计算简单的激活函数对特征值修正这里卷积层.池化 ...
基于遗传算法的卷积神经网络架构搜索
论文推荐:基于遗传算法的卷积神经网络架构搜索来自文章 <Evolving Deep Convolutional Neural Networks for Image Classification ...
超越谷歌MobileNet！华为提出端侧神经网络架构GhostNet｜已开源
2020-02-29 12:23:43 乾明编辑整理量子位报道 | 公众号 QbitAI 同样精度,速度和计算量均少于此前SOTA算法.这就是华为诺亚方舟实验室提出的新型端侧神经网络架构Ghos ...

最新文章

热门文章