XSepConv: Extremely Separated Convolution

Chen J, Lu Z, Xue J H, et al. XSepConv: Extremely Separated Convolution[J]. arXiv preprint arXiv:2002.12046, 2020.
深度卷积已逐渐成为现代高效神经网络必不可少的操作，并且最近对其应用了更大的核尺寸（≥ 5）。在本文中，提出了一种新型的极度分离卷积块（XSepConv），它将空间可分离卷积融合为深度卷积，以进一步降低大内核的计算成本和参数大小。此外，额外2×2深度卷积与改进的对称填充策略结合使用，以补偿空间可分离卷积带来的副作用。XSepConv被设计为大内核尺寸的深度卷积的有效替代方案。为了验证这一点，我们将XSepConv用于最先进的MobileNetV3-Small架构，并在四个竞争激烈的基准数据集（CIFAR-10，CIFAR-100，SVHN和Tiny-ImageNet）上进行了广泛的实验，以证明XSepConv确实可以在准确性和效率之间达成更好的权衡。

XSepConv结构：

(a) the basic XSepConv block. (b) the XSepConv block for spatial down sam-pling (2). NL: nonlinearity. DW: depthwise convolution. s12: stride=(1,2). s21:stride=(2,1). (Better viewed in color)
XSepConv由3个部分组成:2x2深度卷积核;1个k深度卷积核;和k1个深度卷积核。
1×k和k×1深度卷积一起形成所说的空间分离深度卷积，其中2×2深度卷积起着重要的作用用于捕获由于固有的结构缺陷而可能被空间分离深度卷积丢失的信息。
2x2深度卷积核
为什么CNN中的卷积核一般都是奇数*奇数
1，为了方便same padding时的处理。如步长为1时，要补充k-1的zero padding才能使输出输出的尺寸一致，这时候如果核大小k是偶数，则需要补充奇数的zero padding，不能平均分到feature map的两侧。
2，为了统一标准。卷积核的滑动是默认使用中心点作为基准而进行的，而奇数核拥有这样天然的基准。（其实自己定义偶数核的基准也是可以的，如使用核的左上角作为基准。）
3，为了更好地获取中心信息。由于奇数核拥有天然的绝对中心点，因此在做卷积的时候能更好地获取到中心这样的概念信息。

在四个连续层上执行两个对称填充策略。(a)[36]中提出的对称填充策略，不同的颜色在单层中代表不同的组。(b)我们提出的改进的对称填充策略，不同的颜色代表不同的层。箭头的方向表示位置偏移的方向，例如，左上方向的箭头表示左上方向的偏移，这是由于在feature map的右边和底边再填充一个0造成的。红线和绿线分别代表坏的和好的信息流路径。
如图所示，[36]的对称填充策略在最后一层的某些输出处会遇到不对称。如果信息沿着四个移动方向都不同的路径流动，如图2(a)中的绿线，则在最终的输出中将消除位置偏移。否则，头寸偏移将至少在一个方向上累积，例如，红线内从图(a)可以看出，左上方向的位置偏移量会在最终的输出中累积，最终会将地物挤压到空间位置a的左上角。
总结：
XSepConv是一个更有效的替代深度卷积，可以可靠地提高性能，简单地替代深度卷积模型，如MobileNetV3-Small与XSepConv。此外，可以在NAS中采用XSepConv来丰富搜索空间，开发更高效的模型。

XSepConv: Extremely Separated Convolution相关推荐

【今日CV 计算机视觉论文速览第119期】Wed, 22 May 2019
今日CS.CV 计算机视觉论文速览 Wed, 22 May 2019 Totally 39 papers ?上期速览✈更多精彩请移步主页 Interesting: ?全人体的渲染模型, 估计模型表面精 ...
GAPNet基于图注意力的点神经网络用于局域特征探索
2篇GAPNet基于图注意力的点神经网络用于局域特征探索转载文章 https://blog.csdn.net/u014636245/article/details/90478608 版权声明:本文为 ...
读文献--《U-Net: Convolution Networks for Biomedical Image Segmentation 》
声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 1.Abstract In this paper, we present a network and training strategy ...
【论文笔记】LSNet: Extremely Light-Weight Siamese Network For Change Detection in Remote Sensing Image
论文论文题目:LSNET: EXTREMELY LIGHT-WEIGHT SIAMESE NETWORK FOR CHANGE DETECTIONOF REMOTE SENSING IMAGE 投递 ...
MicroNet: Improving Image Recognition with Extremely Low FLOPs--Yunsheng Li
0.摘要 1.引入 2.相关工作 3.Micro-Factorized Convolution 3.1 Micro-Factorized Pointwise Convolution 3.2 Micro ...
深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现
深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现 MicroNet: Improvin ...
【读点论文】MicroNet: Towards Image Recognition with Extremely Low FLOPs，在极高限制下的轻量化网络
MicroNet: Towards Image Recognition with Extremely Low FLOPs Abstract 这篇论文旨在以极低的计算成本解决性能大幅下降的问题.提出了微 ...
GCN-LSTM预测道路车辆速度英文 Forecasting using spatio-temporal data with combined Graph Convolution LSTM model
GCN-LSTM模型预测道路交通车辆速度 GCN:又称GNN,图神经网络 LSTM:长短时记忆网络可做学习参考 Abstract Accurate traffic prediction is ...
网络结构（1）ShufﬂeNet: An Extremely Efﬁcient Convolutional Neural Network for Mobile Devices
论文目录 ShufﬂeNet: An Extremely Efﬁcient Convolutional Neural Network for Mobile Devices 引言相关工作高效模型设计 ...
ICCV2019-SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentati
SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentation 基于分离语义 ...

XSepConv: Extremely Separated Convolution

XSepConv: Extremely Separated Convolution相关推荐

最新文章

热门文章