论文阅读笔记(八)——Ultra-thin MobileNet

Architecture

前言

u1s1,我现在看论文的能力提升很高，中午吃完饭还没洗碗，还泡着呢，看完去给婉儿洗澡了。然后要准备改论文了~

1 论文简介

1.1 关于文章

论文名称:Ultra-thin MobileNet

百度网盘:原文链接
提取码：shh2

1.2 关于模型

我称之为百变MobileNet，一个MobileNet养活了一堆人

2 文章正文

2.1 摘要

卷积神经网络（CNN）是深度学习体系结构，在对象检测，图像分类，面部识别，自动驾驶应用等方面起着重要作用。MobileNet是专门为嵌入式视觉应用开发的轻型CNN模型。但是，将基线模型部署到受内存限制的微控制器单元中仍然是很大的挑战。上面提到的模型的设计空间探索可以减少其内存，并减少计算量。本文提出了对现有基准MobileNet体系结构的一些修改，以使其更加有效并适合在实时嵌入式平台上进行部署。开发这种体系结构的目的是在不使精度下降到基线精度水平以下的情况下，显着减少尺寸，参数数量，每个时期的计算时间以及过度拟合问题。通过使用Swish激活函数而不是标准激活函数ReLU，并引入一种称为随机擦除的正规化方法而不是Dropout进入网络，可以达到较高的准确性。通过使用可分离卷积代替深度可分离卷积，更改通道深度，选择最佳宽度乘数值并消除一些具有相同输出形状的图层而不会降低精度级别，我们减小了模型大小。我们在CIFAR-10数据集上从头开始对带有上述修改的模型进行了训练，与基线MobileNet V1相比，该模型的结构要轻得多。我们将新的DNN架构命名为Ultra-thin MobileNet，其大小仅为3.9 MB，可在内存和功能有限的实时嵌入式处理器中部署。

2.2 Motivation&Contributions

PS: 这一段主要是方便我们以后写Introduction与Related Work

2.2.1 Motivation

在过去的几年中，深度学习领域的积极研究导致标准CNN架构（如SqueezeNet，SqueezeNext ，Inception，MobileNet [4]等）的性能呈指数级提高。计算机视觉的传统算法（如Canny或HOG）已被这些更快，更准确的深度学习模型所取代。各种新的优化方法，激活功能，训练技术推动了现有模型变得更加高效。使模型更深入，更复杂，以达到良好的精度水平。结果，模型的大小增加了，使其不适合部署到资源受限的环境中。计算时间也增加了，使得它对于实时嵌入式应用程序不可靠。要将这些模型部署到能量和功率有限的MCU（例如S32V234或Bluebox 2.0）中，模型的大小是需要考虑的非常重要的因素。在自动驾驶应用中，准确性和计算时间对人身安全至关重要。通常，尝试减小模型大小会导致准确性水平急剧下降。为了解决上述问题，开发了非常轻的CNN模型，例如MobileNet ，MobileNet V2 ，增强型混合MobileNet [9]等。这些模型使用深度可分离卷积代替标准卷积，以节省内存和计算时间。

2.2.2 Contributions

本文提出了对现有基准MobileNet体系结构的一些修改，以使其更加有效并适合在实时嵌入式平台上进行部署。开发这种体系结构的目的是在不使精度下降到基线精度水平以下的情况下，显着减少尺寸，参数数量，每个时期的计算时间以及过度拟合问题。通过使用Swish激活函数而不是标准激活函数ReLU，并引入一种称为随机擦除的正规化方法而不是Dropout进入网络，可以达到较高的准确性。通过使用可分离卷积代替深度可分离卷积，更改通道深度，选择最佳宽度乘数值并消除一些具有相同输出形状的图层而不会降低精度级别，我们减小了模型大小。我们在CIFAR-10数据集上从头开始对带有上述修改的模型进行了训练，与基线MobileNet V1相比，该模型的结构要轻得多。我们将新的DNN架构命名为Ultra-thin MobileNet，其大小仅为3.9 MB，可在内存和功能有限的实时嵌入式处理器中部署。

改动

使用可分离卷积替换深度可分离卷积
随机擦除数据增强方法的应用
删除具有相同输出形状的层
改变channel深度

网络结构

实验 Experimental

总结

和上一篇总得来说，就是换了个激活函数

收获

好家伙，和上一篇方法图基本都差不多，这是抄论文还是水论文喔
有钱真好
我以为上一篇，我看完加写总结一共半个小时已经够快了，比起GhostNet一个半小时来说，结果hjh，这篇10分钟