创新点

1.引入SE结构

MobileNetV3 的另一个新颖想法是在核心架构中加入一种名为「Squeeze-and-Excitation」的神经网络（简称 SE-Net，也是 ImageNet 2017 图像分类冠军）。具体而言，就是通过学习来自动获取到每个特征通道的重要程度，然后依照这一结果去提升有用的特征并抑制对当前任务用处不大的特征。

MobileNet V2的bottlenet结构

MobileNet V3的block结构，即在V2的bottlenet结构中加入了SE结构，并且放在了depthwise filter之后,当stride == 1且 input_c == output_c 才有shortcut连接

depthwise卷积不改变通道数

SE模块（注意力机制）图解

第一个全连接层FC1 的channel变为输入的1/4,第二个全连接层FC2不变，即等于池化后的通道数

要用FC2的输出（经过H-sig激活函数）去乘全局平均池化前的输出，相当于给此输出一个权重

2、修改尾部结构

在mobilenetv2中，在avg pooling之前，存在一个1x1的卷积层，目的是提高特征图的维度，更有利于结构的预测，但是这其实带来了一定的计算量了，所以这里作者修改了，将其放在avg pooling的后面，首先利用avg pooling将特征图大小由7x7降到了1x1，降到1x1后，然后再利用1x1提高维度，这样就减少了7x7=49倍的计算量。

为了进一步的降低计算量，作者直接去掉了前面纺锤型卷积的3x3以及1x1卷积，进一步减少了计算量，就变成了如下图第二行所示的结构，作者将其中的3x3以及1x1去掉后，精度并没有得到损失。这里降低了大约15ms的速度。

3、修改channel数量

修改头部卷积核channel数量，mobilenet v2中使用的是32 x 3 x 3，作者发现，其实32可以再降低一点，所以这里作者改成了16，在保证了精度的前提下，降低了3ms的速度。作者提供了两个版本的v3，分别是large和small，对应于高资源和低资源的情况。两者都是使用NAS进行搜索出来的

exp size:Inverted Residuals（倒残差结构）中1*1升维（PW）的卷积核个数

#out：Inverted Residuals（倒残差结构）中1*1降维（PW）的卷积核个数

NL：激活函数。hs：h-swish激活函数；RE：Relu6激活函数

4、非线性变换（新激活函数）的改变

作者发现一种新出的激活函数swish x（如下）能有效改进网络精度，但是计算量太大了。

作者使用ReLU6(x+3)/6来近似替代sigmoid，进行了速度优化，具体如下：

ReLU6(x) = min(max(x, 0), 6)

MobileNet V3(2019)相关推荐

华为诺亚、北大提出GhostNet，使用线性变换生成特征图，准确率超MobileNet v3 | CVPR 2020...
作者 | Kai Han, Yunhe Wang等编译 | Conv 出品 | AI科技大本营(rgznai100) 受限于内存空间和计算资源,将卷积神经网络部署到嵌入式设备中会比较困难.CNNs中 ...
MobileNet V3简单总结
2017_MobileNetV3_谷歌: 图: MobileNetV3-Large和MobileNetV3-Small两种不同大小的网络结构网络描述: MobileNetV3 一种轻量级网络,它的参 ...
超越MobileNet v3！华为诺亚、北大提出GhostNet，使用线性变换生成特征图
点击我爱计算机视觉标星,更快获取CVML新技术作者 | Kai Han, Yunhe Wang等编译 | Conv 出品 | AI科技大本营(rgznai100) 受限于内存空间和计算资源,将卷积 ...
轻量级神经网络算法系列文章-MobileNet v3
4. 轻量级神经网络算法目录轻量级神经网络算法 4.1 各轻量级神经网络算法总结对比 4.2 SqueezeNet 4.3 DenseNet 4.4 Xception 4.5 MobileNet v ...
高效终端设备视觉系统开发与优化
正文字数:6594 阅读时长:10分钟演讲内容主要包括介绍回顾最新终端机器学习研究的最新进展,介绍Google发布终端设备视觉开发工具,包括TFLite视觉任务API.开源MediaPipe系统.M ...
CNN经典模型发展进程
CNN模型合集-Mengcius专栏 [CNN常见模型0--储备知识]深度神经网络(DNN)模型,前向传播算法和反向传播算法(BP) [CNN常见模型0]卷积神经网络(CNN)模型结构 [CNN常见模 ...
CV算法复现（分类算法6/6）：MobileNet（2017年V1，2018年V2，2019年V3，谷歌）
致谢:霹雳吧啦Wz:霹雳吧啦Wz的个人空间_哔哩哔哩_Bilibili 目录致谢:霹雳吧啦Wz:霹雳吧啦Wz的个人空间_哔哩哔哩_Bilibili 1 本次要点 1.1 pytorch框架语法 2 ...
面向Mobile device的CNN模型手工设计与NAS分析总结，MobileNet V1,V2,V3，Efficient，MNasNet以及Efficient network design
手工方法和NAS的高效网络模型设计总结与分析这篇文章主要关注对于移动端,资源受限平台的高效神经网络设计(Manually)和搜索(NAS). 高效的CNN设计不只是用在服务器,云端,资源 ...
简记MobileNet系列
<简记MobileNet系列> ImageNet竞赛至今,为了追求精度,模型深度越来越深,参数量也越来越大,这导致移动端场景的算力是无法支撑的.所以轻量级模型应运而生,Google提出 ...

MobileNet V3(2019)

创新点

1.引入SE结构

2、修改尾部结构

3、修改channel数量

4、非线性变换（新激活函数）的改变

MobileNet V3(2019)相关推荐

最新文章

热门文章