MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

摘要
我们发明了一类有效的为了可移动的设备和嵌入式视觉的应用的模型叫做MobileNets. MobileNets是基于一种使用深度可分割卷积去建立轻量型网络结构的流线型结构。我们引进了两个简单的超参数，这两个超参数在延迟和准确率方面达到了平衡。这些超参数允许模型建立者对于他们的模型去选择正确大小的模型建立在这个问题的限制上，我们进行了昂贵的实验在资源和准确率平衡方面，同时在Imagenet 分类方面对比其它受欢迎的模型表现的不错。然后进行了广泛的运用Mobilenet去阐述它的有效性，包括目标检测，细粒度分类，面部识别和大规模geo定位
1 简介
自从Alexnet在ILSVRC 2012赢得了冠军深度卷积神经网络变得受欢迎，卷积神经网络也开始在开始在计算机视觉方面变得很普遍。一般的趋势是设计更深和更复杂的网络目的是获得更高的准确率。然而，这些提升准确率的进步在对于网络在大小和速度方面更有效是不必要的。在很多真实应用中列如机器人、自动驾驶汽车和增强现实，这些认知任务需要在实时的部署在有计算限制的平台上。
这篇论文形容了一种有效的网络结构和一组两个超参数宽度乘法和分辨率乘法出发目的是建立非常小和低资源的模型，这个模型可以可以很容易的适合设计及要求对于移动设备和嵌入式视觉应用。第二部分回顾建立小模型方面的工作，第三部分描述了Mobilenet 结构和两个超参数第四部分描述了实验在imagenet 第五部分做了个总结
2 先前的工作
最近的文章对建立小而有效的网络很感兴趣。许多不同的方法可以被一般的归类为压缩提前训好的网络或者直接训练小型网络。这篇文章提出了一种网络结构允许模型发展对于其应用特别的挑选小的网络根据资源的限制(延迟，大小)。MobileNets首先很注意对资源的优化同时也对小网络做了屈服，许多论文在小网络上集中注意力在大小方面，却没有考虑速度。
MobileNets首先是建立在深度分割卷积上，首先由 Rigid-motion scattering for image classification.提出，随后在Inception模型中得到应用去减少前几层的计算量。FlaTtened 网络建立一个网络缺乏全因式分解式卷积同时显示出极端的因式分解式网络的潜能。独立于这篇论文，Factorized 网络引入了相似的因式分解卷积同时也使用了拓扑链接。随后，Xception网阐述了怎样去缩小深度分割过滤器去超过Inception V3 网络，另一个小网络是SqueezeNet,它使用Bottleneck 结构去设计非常小的网络，其它减少计算量的网络包括结构转换网络和深度油炸卷积
一个不同的方法得到小型网络是收缩，因式分解或压缩预训练好的网络。压缩建立在生产量子化，哈希和剪枝，向量量子化和哈夫曼编码都在文章中有提到。其他的各种不同的因式分解被提出去加速预先训练好的网路。其它训练小型网络的方法叫做蒸馏，使用大网络去教小网络。这在我们的方法中有包含，在第四章我们也有一些使用案例，了一个合并方法是低比特网络。

3. MobileNet Architecture
在这部分我们首先描述了MobilneNet模型的核心层是建立在深度可分割过滤器上。然后描述了MobileNet 网络结构，包括对两个模型收缩参数的描述（宽度乘数和分辨率乘数）
3.1. Depthwise Separable Convolution
这个MobileNet 模型是建立在深度可分割卷积上，深度可分割卷积是一种因式分解卷积，它把标准的卷积分解成一个深度卷积和一个1*1的点卷积。对于MobileNet这个深度卷积把单一过滤应用在每个输入通道上。然后点卷积运用1*1大小的卷积是结合深度卷积的输出。一种标准的卷积既能过滤输入，又能在一步中将输入组合成一组新的输出。深度可分割卷积把这个分成两层，一个分割层为了过滤，另一个分割层为了结合。这个因式分解彻底的减少了计算量和模型大小。图2显示了一个标准的卷积被分解为一个深度卷积和一个181的点卷积。
一个标准的卷积层接受输入列如DFDFD_{F}XDFDFD_{F}XM特征图F并产生DFDFD_{F}XDFDFD_{F}XM特征图G,DFDFD_{F}是空间宽度和高度对于一个输入的正方形特征图，M是输入通道大小，D−GD−GD-{G}是输出的正方形特征图的空间宽度和高度，N是输出通道大小。
标准卷积层由卷积核K参数化的计算为DKDKD_{K}XDKDKD_{K}XMXN,DKDKD_{K}是卷积核的空间温度，M是输入通道大小，N是输出通道大小，和之前定义的一样。
标准卷积的特征图输出计算是（假设strides是1padding也是1）：

标准卷积运算量计算为：
DKDKD_{K}DKDKD_{K}*M*NDFDFD_{F}*DFDFD_{F}
运算量依赖于输入通道M,输出通道N和卷积核大小DKDKD_{K}以及特征图大小DFDFD_{F}.MobileNet解决了这种关系和他们的交互。首先使用利用深度可分割网络去打破输出通道和卷积核大小的交互。
标准的卷积操作对过滤特征有影响建立在卷积核和解和特征目的是阐述新的表达，过滤和结合步骤可以被分成两部分通过使用因式分解卷积叫做深度可分割卷积未来充分减少运算量。
深度可分割网络是由两层组成的：深度卷积和点卷积，我们使用深度卷积把单个卷积核运用在每个输入通道上，然后用1*1点卷积去结合深度卷积层的输出。MobileNet在每一层后使用batchnorm和Relu
深度卷积对每个输入通道的单个卷积可以被写作：

\hat{K}是深度卷积核，size是DKDKD_{K}*DKDKD_{K}*M，mthmthm_{th}卷积和在\hat{K}被运用到mthmthm_{th}在F的通道上去产生mthmthm_{th}通道的特征图\hat{G}的输出
深度卷积的运算量：
DKDKD_{K}DKDKD_{K}*M*DFDFD_{F}*DFDFD_{F}
深度卷积是非常有效的相当于标准卷积来说，然而它只过滤输入通道，并不结合他们去产生新的特征。所以一个额外的深度卷积通过1*1卷积是需要的去产生新的特征，
深度卷积和1*1点卷积的结合被叫做深度可分割网络，Rigid-motion scattering for image classification.中率先提出。
深度可分割卷积运算量：

最后做个对比：

MobileNet使用3×3深度可分割卷积它的计算量比标准卷积少8到9倍但在精度上只有很小的降低在第四节。空间维度的额外分解，如in[16, 31]并没有节省太多额外的计算量因为很少的计算被花费在深度卷积中。

MobileNet论文翻译相关推荐

Arcface v1 论文翻译与解读
神罗Noctis 2019-10-13 16:14:39 543 收藏 4 展开论文地址:http://arxiv.org/pdf/1801.07698v1.pdf 最新版本v3的论文翻译:Ar ...
OSNet 论文翻译
OSNet 论文翻译摘要作为一个实例级的识别问题,行人再识别(ReID)依赖于具有识别能力的特征,它不仅能捕获不同的空间尺度,还能封装多个尺度的任意组合.我们称这些同构和异构尺度的特征为全尺度特征 ...
Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文翻译
Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文翻译 Abstract摘要 Convolutional neural net ...
论文翻译_论文翻译的注意事项有什么？
针对不同题材的文稿有不同的翻译标准,论文翻译是比较严谨的一种翻译类型,下面小编给大家分享论文翻译的注意事项有什么? 注意"从一而终" 所有的论文,在权威平台上发布的时候都必须译为英 ...
转：经典论文翻译导读之《Google File System》
首页所有文章资讯 Web 架构基础技术书籍教程 Java小组工具资源 - 导航条 -首页所有文章资讯Web架构基础技术书籍教程Java小组工具资源经典论文翻译导读之<Google ...
论文翻译_做论文翻译需要知道哪些翻译技巧？知行翻译：这3个技巧
论文,在古代是指交谈辞章或交流思想.而现代常用来指进行各个学术领域的研究和描述学术研究成果的文章.论文不仅是探讨问题进行学术研究的一种手段,也是描述学术研究成果进行学术交流的一种工具.常见的种类包括学 ...
php 谷歌翻译api_科研福音，论文翻译神器系列！
参考文献很大程度上反映了一篇论文的水平.对于研究生来说,自己动手写论文前的第一步工作就是阅读大量高水平.前沿的文献,而这些论文大多是英文写就. 人工翻译一般比较耗时且需要扎实的语言功底,对于初学者来说 ...
【转】分布式一致性算法：Raft 算法（Raft 论文翻译）
编者按:这篇文章来自简书的一个位博主Jeffbond,读了好几遍,翻译的质量比较高,原文链接:分布式一致性算法:Raft 算法(Raft 论文翻译),版权一切归原译者. 同时,第6部分的集群成员变更读 ...
Deep Residual Learning for Image Recognition（ResNet）论文翻译及学习笔记
[论文翻译]:Deep Residual Learning for Image Recognition [论文来源]:Deep Residual Learning for Image Recognit ...

MobileNet论文翻译

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

MobileNet论文翻译相关推荐

最新文章

热门文章