NASNET-【论文理解】
前言
谷歌大脑Google Brain的一篇论文,提出了目前最好的图像分类的网络架构。之前的研究表明,网络结构的设计无非是一些卷积核、非线性变换、层之间的连接等之间的组合。
那么当然就可以使用RNN来预测卷积单元 convolutional cell,单元中的网络元素的组合不再受人控制,再将卷积进行堆叠stack,构成对特定数据集的网络。
注意:
只预测能够堆叠的单元!而网络的整体结构还是需要人为的设计,比如单元的重复次数等。每个单元相同的结构不同的参数。
目前在keras上已经增添了Nasnet的应用,数据如下:
特别注意,只有23M大小的NASNetMobile效果也是非常的好!!
网络结构
RNN预测的最佳网络单元
前面已经提到了,Nasnet其实就是新的网络单元之间的堆叠,搭积木一样搭起来的,所以最为核心的其实是构成网络的这些单元。我们先看一下最佳网络单元的结构,然后再讨论网络单元到底是怎么通过搜索算法以及RNN得出来的。
- Normal Cell: 特征图经过此Cell之后大小不变。
每个Cell都是由非常多的小单元组成的,每个小单元都有五个部分,小单元如下图红色线圈出的部分,详情可以看3。
- Reduction Cell: 特征图经过之后大小减半。
最佳单元的基本模块组成
组成Normal Cell和Reduction Cell的基本模块样例如下图,可以对应到1和2结构上,在1图中即为红色线圈出的部分:
具体的网络结构
在cifar10和imagenet上的网络结构如下图所示:
生成网络cell
NAS网络架构搜索
在NAS中,控制器递归神经网络(RNN)对具有不同结构的子网络进行采样。对子网络进行收敛训练,以获得外置验证集上的一些精度。得到的精度用于更新控制器,以便控制器随着时间的推移生成更好的体系结构。控制器的权重会随着策略梯度而更新。主要还应用了强化学习。
基本流程
每一个小的基本模块都包括五个部分,每一个cell都会重复进行B次基础模块的预测,在此次最好的B是5⃣️次,如上图的Normal Cell和Reduction Cell,两个示意图中绿色的部分为5个,即重复了5次基本模块的预测。
每一个基本模块的生成流程(5步)如下:
步骤1:从hih_ihi,hi−1h_{i-1}hi−1或从隐状态的集合中选择一个隐藏的状态,例如上图基本模块的hidden layer A。
步骤2:从与步骤1相同的选项中选择第二个隐藏状态,例如上图基本模块的hidden layer B。
步骤3:选择要应用于步骤1中选择的隐藏状态的操作。(黄色框)
步骤4:选择要应用于步骤2中选择的隐藏状态的操作。(黄色框)
步骤5:选择一个方法来组合步骤3和步骤4的输出来创建。(绿色框)
NASNET-【论文理解】相关推荐
- MobileNetV3 论文理解,以及tensorflow、pytorch相关代码
MobileNetV3论文理解,以及tensorflow+pytorch代码 MobileNetV3相关 论文地址 Block结构变化 算法内部微结构变化 网络整体结构 网络性能 Tensorflow ...
- A Learned Representation for Artistic Style论文理解
A Learned Representation for Artistic Style论文理解 这篇论文是在Perceptual losses for real-time style transfer ...
- 图卷积网络进行骨骼识别代码_【骨骼行为识别】2s-AGCN论文理解
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition 论文链接: https:/ ...
- PacificA: Replication in Log-Based Distributed Storage Systems 论文理解
PacificA: Replication in Log-Based Distributed Storage Systems 论文理解 思考:论文有个结论说,相比 GFS 具有中心化的实体,Pacif ...
- [计算机视觉] AprilTag 2: Efficient and robust fiducial detection(2016)论文理解
论文地址 chrome-extension://cdonnmffkdaoajfknoeeecmchibpmkmg/assets/pdf/web/viewer.html?file=https%3A%2F ...
- [计算机视觉] AprilTag: A robust and flexible visual fiducial system(2011)论文理解
论文地址 chrome-extension://cdonnmffkdaoajfknoeeecmchibpmkmg/assets/pdf/web/viewer.html?file=https%3A%2F ...
- 【6Dof位姿估计】DPVL:6DoF Object Pose Estimation via Differentiable Proxy Voting Loss论文理解
6DoF Object Pose Estimation via Differentiable Proxy Voting Loss论文理解 解决什么问题 本文创新点\贡献 本文IDEA来源 方法 方向向 ...
- 论文理解【RL - Exp Replay】—— 【ReMERN ReMERT】Regret Minimization Exp Replay in Off-Policy RL
标题:Regret Minimization Experience Replay in Off-Policy Reinforcement Learning 文章链接:Regret Minimizati ...
- Transformer(二)--论文理解:transformer 结构详解
转载请注明出处:https://blog.csdn.net/nocml/article/details/110920221 本系列传送门: Transformer(一)–论文翻译:Attention ...
- ResNet 论文理解含视频
ResNet 论文理解 问题导引论文理解 Q1.神经网络真的越深越好吗? Q2. 为什么加深网络会带来退化问题? Q3. 如何构建更深层的网络? 基于残差的深度学习框架 Residual Learni ...
最新文章
- connect: 网络不可达_Java网络编程和NIO详解1:JAVA 中原生的 socket 通信机制
- 对于vsftp writable anonymous root问题的解决
- perl学习之:肯定匹配和否定匹配
- Office And PDF 病毒分析工具
- 手机app界面及易用性测试点分析(通用)
- 解决svn文件图标不显示
- 苹果屏蔽更新描述文件_安装iOS屏蔽更新描述文件教程方法
- 使用OEM复制数据库
- MT6573添加新硬件模块驱动方法
- C语言程序设计预备作业
- 注册一个域名需要多少钱_注册一个域名要多少钱?
- 2013南大专业课试题答案
- 2010年软件业十大新闻事件
- 曲线绕x轴旋转曲面方程_曲线绕着Ox轴旋转所得的曲面方程是______。
- 多媒体制作技术心得体会_多媒体技术学习心得体会总结
- 二叉树遍历(递归、非递归)
- nginx 启动、重启、配置重新加载
- 关于Richard Stallman的若干惊人事实
- 股票自动交易python下单接口_千股千评_个股最近30天专家点评_散户大家庭
- 电商平台解决方案丨B2B转型成就工业升级
热门文章
- jquery操作CSS样式全记录
- Codeforces 758F Geometrical Progression
- Codeforces 990G 点分治+暴力
- 关于C++的字符串操作
- C#部分---arraylist集合、arraylist集合中的object数据转换成int类string类等;间隔时间的表示方法;...
- camelCase骆驼拼写法
- Spring项目跟Axis2结合
- 转I give the orders around here.
- python获取某个模块文件的路径
- ACL2021 | 没想到Mixup还可以用于文本:SSMix