深度学习自学（十三）：Nas＋Mnas移动端网络搜索结构

2024-05-10 04:06:07

NasNet论文地址：https://arxiv.org/pdf/1707.07012.pdf
MnasNet论文地址：https://arxiv.org/pdf/1807.11626.pdf

一、MnasNet

MnasNet提出了一种自动神经结构搜索的方法：将 latency（运算延迟时间）也作为优化目标，以此来搜索能够平衡accuracy和latency的网络模型（之前都是通过减少FLOPS来间接地实现加速效果，但是MnasNet中直接测量特定平台的实际inference latency，因不同的移动设备可能有不同的软硬件特性，可能需要不同的网络来平衡精确度和速度）；另外，提出了一种分层分解搜索空间的方法来确定网络结构。

（1）、将问题看作是一个多目标优化问题，即 $\begin{cases} accuracy \\ latency \end{cases}$ ，并采用增强学习的网络搜索方法，用于搜索低延迟同时能保证高精度的CNN模型。

（２）、提出了一种层级搜索空间（分解分层网络空间）方法，通过在灵活性和搜索空间大小之间取得适当的平衡，最大化利用移动网络所在设备上的资源效率。

1、移动端自动化神经架构搜索方法的完整流程

整个流程主要由三部分组成：一个基于 RNN 的控制器，用于学习模型架构并进行采取；一个训练器，用于构建和训练模型以获得准确度；还有一个推理引擎，可使用 TensorFlow Lite 在真实手机上测量模型速度。

２、分层分解搜索空间

该空间将卷积神经网络因式分解为一系列区块，然后使用层级搜索空间来确定每个区块的层结构。由此，允许不同的层使用不同的运算和连接。与此同时强制每个区块中的所有层共享同一个结构，因此与扁平的逐层搜索空间相比，Mnas搜索空间大小减少了几个数量级。

３、MnasNet Architecture

深度学习自学（十三）：Nas＋Mnas移动端网络搜索结构相关推荐

python多分类混淆矩阵代码_深度学习自学记录（3）——两种多分类混淆矩阵的Python实现（含代码）...
深度学习自学记录(3)--两种多分类混淆矩阵的Python实现(含代码),矩阵,样本,模型,类别,真实深度学习自学记录(3)--两种多分类混淆矩阵的Python实现(含代码) 深度学习自学记录(3) ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...
【深度学习】超强优化器如何与网络有机结合
[深度学习]超强优化器如何与网络有机结合 1 Ranger优化器 2 一个例子(基于CNN和pytorch) 3 剪枝(减小优化器压力) 1 Ranger优化器 RAdam + Lookahead + ...
深度学习笔记（27）经典卷积网络
深度学习笔记(27) 经典卷积网络 1. 前言 2. LeNet-5 3. AlexNet 4. VGGNet 1. 前言讲了基本构建,比如卷积层.池化层以及全连接层这些组件事实上,过去几年计算机 ...
深度学习笔记（12） Batch归一化网络
深度学习笔记(12) Batch归一化网络 1. Batch归一化 2. 激活值归一化 3. 特殊情况不归一化 4. mini-batch上的Batch归一化 1. Batch归一化 Batch归一化 ...
花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录 0. 前言 1. 生成随机网络 GSN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DB ...
[深度学习论文笔记]医学图像分割U型网络大合集
[深度学习论文笔记]医学图像分割U型网络大合集 2015 U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI ...
Keras深度学习实战（22）——生成对抗网络详解与实现
Keras深度学习实战(22)--生成对抗网络详解与实现 0. 前言 1. 生成对抗网络原理 2. 模型分析 3. 利用生成对抗网络生成手写数字图像小结系列链接 0. 前言生成对抗网络 (Gen ...
【深度学习基础】SENet——PyTorch实现CNN的SE结构改造
[深度学习基础][深度学习基础]SENet--PyTorch实现CNN的SE结构改造 1 论文关键信息 1.1 SE block 1.1.1 squeeze 1.1.2 Exitation 2 pyt ...

最新文章

热门文章