轻量化网络结构—

《Xception: Deep Learning with Depthwise Separable Convolutions》

– Google

1.Xception 并不是真正意义上的轻量化模型，是Google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolution来替代原来的Inception v3中的卷积操作，这种性能的提升是来自于更有效的使用模型参数而不是提高容量。
一个卷积层尝试去学习特征在3维空间–（高、宽、通道），包含了空间的相关性和跨通道的相关性。
Xception做了一个加强的假设，就是卷积的时候要将通道的卷积与空间的卷积进行分离，这样会不会更合理？

2.Xception结构演变
既然是在Inception v3上进行改进的，那么Xception是如何一步一步的从Inception v3演变而来。
Inception v3结构如下图1，当时提出Inception的初衷可以认为是：特征的提取和传递可以通过1x1卷积，3x3卷积，5x5卷积，pooling等，到底哪种才是最好的特征提取方式呢？Inception结构将这个疑问留给网络自己训练，也就是将一个输入同时给这几种提取特征方式，然后做concat。 Inception v3和Inception v1（GoogLeNet）对比主要是将5x5卷积换成两个3x3卷积层的叠加。

注：1x1卷积的作用: 1）降维：较少计算量 2）升维：小型网络，通道越多，效果会更好 3）1x1是有一个参数学习的卷积层，可以增加跨通道的相关性。

图2 简化了的inception module（就只考虑1x1的那条支路，不包含Avg pool)

再进一步延伸，就有了图3，把第一部分的3个1x1卷积核统一起来，变成1个1x1的卷积核，然后连接3个3x3的卷积，这3个卷积操作只将前面1x1卷积结果中的一部分作为自己的输入（只负责一部分通道）。

图4 An“extreme” version of Inception module，先用1x1卷积核对各通道之间（cross-channel）进行卷积，之后使用3x3的卷积对每个输出通道进行卷积操作，也就是3x3卷积的个数和1x1卷积的输出channel个数相同。

在Xception中主要采用depthwise separable convolution，和原版的相比有两个不同之处：
（1）原版的Depthwise convolution，先是逐通道卷积，再1x1卷积；而Xception是反过来，先1x1卷积，再逐通道卷积。
（2）原版Depthwise convolution的两个卷积之间是不带激活函数的，而Xception再经过1x1卷积之后会带上一个Relu的非线性激活函数。

3.Xception的网络结构

完全基于深度可分离卷积的卷积神经网络结构：

Xception结构由36层卷积层组成网络的特征提取基础，分为Entry flow，Middle flow，Exit flow；被分成了14个模块，除了第一个和最后一个外，其余模块间均有线性残差连接。

4.实验结果
Table1表示几种网络结构在ImageNet上的对比。

Table2表示在JFT数据集上的进行比较。大数据集上的提升会更好一点。

Table3表示参数量和速度的比较。

可以看到参数量和速度上，Xception相比于Inception v3只是略微的小点，但效果却好，说明网络结构对参数有更有效的使用，之前的假设将通道的卷积和空间的卷积进行分离，这样会比较好。

Xception小结：

Xception作为Inception v3的改进，主要是在Inception v3的基础上引入了depthwise separable convolution，在基本不增加网络复杂度的前提下提高了模型的效果。有些人会好奇为什么引入depthwise separable convolution没有大大降低网络的复杂度，因为depthwise separable convolution在mobileNet中主要就是为了降低网络的复杂度而设计的。原因是作者加宽了网络，使得参数数量和Inception v3差不多，然后在这前提下比较性能。因此Xception目的不在于模型压缩，而是提高性能。

注：博众家之所长，集群英之荟萃。

轻量化网络结构——Xception相关推荐

轻量化网络结构——MobileNetV2
<Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Seg ...
轻量化网络结构——MobileNet
<MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications> Google Go ...
arduino 勘智k210_嘉楠一代AI芯片勘智K210功耗仅0.3W 加速国产AIoT架构轻量化
原标题:嘉楠一代AI芯片勘智K210功耗仅0.3W 加速国产AIoT架构轻量化 AIoT正重塑人们的生活场景.无论是客厅里的智能音箱.自动驾驶系统,还是机场安检口的人脸识别闸机,终端设备越来越聪明, ...
纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
https://zhuanlan.zhihu.com/p/32746221 https://zhuanlan.zhihu.com/p/35405071 一.简介虽然网络性能得到了提高,但随之而来的就 ...
轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
一引言二轻量化模型 2.1 SqueezeNet 2.2 MobileNet 2.3 ShuffleNet 2.4 Xception 三网络对比一引言自2012年AlexNet以来,卷积 ...
轻量化神经网络模型总结：SqueezeNet、Xception、MobileNet、ShuffleNet
总结今年来的几个轻量化模型:SqueezeNet.Xception.MobileNet.ShuffleNet 下面给出时间轴: 2016.02 伯克利&斯坦福提出 SqueezeNet 201 ...
轻量化神经网络总结：SqueezeNet、Xception、MobileNet v1、MobileNet v2、ShuffleNet v1、ShuffleNet v2
2016.02 伯克利&斯坦福提出 SqueezeNet 在ImageNet上实现了与Alexnet相似的效果,参数只有其1/50 核心点: 1x1卷积核代替3x3卷积核 Squeeze La ...
轻量化神经网络篇（SqueezeNet、Xception、MobileNet、ShuffleNet）
写在前面:此文只记录了下本人感觉需要注意的地方,不全且不一定准确.详细内容可以参考文中帖的链接,比较好!!! 最近看的轻量化神经网络:SqueezeNet.Xception.MobileNet.Shu ...
经典网络结构 (八)：轻量化网络 (SqueezeNet, MobileNet, ShuffleNet)
目录 SqueezeNet Fire Module: Squeeze and Expand SqueezeNet SqueezeNet 总结 MobileNet 深度可分离卷积 (Depthwise ...

轻量化网络结构——Xception

《Xception: Deep Learning with Depthwise Separable Convolutions》

注：博众家之所长，集群英之荟萃。

轻量化网络结构——Xception相关推荐

最新文章

热门文章