VALSE学习（十五）：网络搜索结构-NAS

VALSE2019

一、NAS(Nueral Architecture Search): 未来之匙，大有可为

以深度学习为基础的各种算法实现了自动从数据中提取特征，逐步改变了传统算法手工设计特征的局面。然而，目前的神经网络设计仍然需要领域内专家花费很长时间才能进行设计调整才能得到高效精巧的模型。神经网络结构搜索实现了自动化结构搜索以及权重调整。

目前NAS发展仍然处于初级阶段，但其对于未来神经网络设计的研究是具有重大影响的。来自美国约翰霍普金斯大学的谢凌曦提出神经网络搜索所处的研究阶段大致相当于2011年前神经网络研究相同，目前没有一个处于绝对统治地位的实现方式。另外，受限于数据集，目前的NAS研究仍然使用传统的CIFAR10，CIFAR100抑或ImageNet 数据集进行训练，这在某种程度上限制了下一代神经网络设计所能达到的效果。如何设计适应于NAS研究所使用的数据集是一个亟需解决的开放的研究话题。另外，谢凌曦组针对目前NAS训练时间长，需要使用小数据集作为Proxy的缺陷，他们在DARTS上进行改进，提过了多阶段逐步加深的训练方法，使用了搜索空间近似以及搜索空间约束等方法，使用了大大减少了模型搜索的时间。

来自旷视的张祥雨则从实际工业应用出发，针对在模型部署阶段关于模型复杂度以及计算效率的要求出发，讲解了旷视在高效轻量级深度模型领域的研究成果，从ShuffleNet到ShuffleNet V2的设计，然后到Single Path One- Shot Neural Architecture Search with Uniform Sampling在NAS领域的探索。张提出产品线上有很多对于模型在不同设备上进行模型适配的的需求，NAS可以作为一种新型的模型适配方案，将部署设备的运算能力等特性作为NAS搜索等限制条件来搜索高效的网络模型，实现精度，效率以及灵活性的权衡。

众所周知，2015年提出的ResNet目前已经被广泛使用在分类，检测，分割等各个方向当中。在深度学习模型设计的Panel时间，张翔雨分享了在设计ResNet的历程。ResNet的设计源于对于GoogleNet的研究。在GoogleNet的论文中，作者将网络的取得的效果归功于不同大小的卷积核所提取的多尺度特征。而张等人在研究过程中发现，在删除不同大小卷积核的对比实验中，卷积核的影响是非常大的，这成为了他们设计shortcut的灵感来源。而他们关于GoogleNet的研究前前后后持续了一年左右。考虑到目前NAS所搜索出网络所达到的结果和时间，这进一步让我们更加期待NAS的未来。

VALSE学习（十五）：网络搜索结构-NAS相关推荐

windows内核开发学习笔记十五：IRP结构
windows内核开发学习笔记十五:IRP结构 IRP(I/O Request Package)在windows内核中,有一种系统组件--IRP,即输入输出请求包.当上层应用程序需要访问底层输入输 ...
【华为云技术分享】自动网络搜索（NAS）在语义分割上的应用（一）
[摘要] DeepLab等神经网络在语义分割上取得了显著的成果.虽然近年来神经网络的数量在不断增加,但取得重大突破者甚少且准确度上提升不多.其中一个原因是多数的网络结构都是人为设计,基于现有成熟的结构 ...
PyTorch框架学习十五——可视化工具TensorBoard
PyTorch框架学习十五--可视化工具TensorBoard 一.TensorBoard简介二.TensorBoard安装及测试三.TensorBoard的使用 1.add_scalar() 2 ...
C++学习十五、类继承（1）基类，派生类，访问权限，protected
C++学习十五.类继承(1)基类,派生类前言类继承类的关系与继承基类, 派生类基类派生类构造函数,析构函数文件位置访问权限 protected 后记前言本篇开始学习C++类的继 ...
OpenGL入门学习(十五)
OpenGL入门学习[十五] 这次讲的所有内容都装在一个立方体中,呵呵. 呵呵,绘制一个立方体,简单呀,我们学了第一课第二课,早就会了. 先别着急,立方体是很简单,但是这里只是拿立方体做一个例子,来说 ...
【深度学习】神经网络结构搜索（NAS）与多模态
[深度学习]神经网络结构搜索(NAS)与多模态文章目录1 概述 2 经典的NAS方法2.1 搜索空间2.2 搜索策略2.3 性能评估 3 多模态 4 多模态表示学习 Multimodal Repre ...
python 教程第十五章、结构布局
第十五章. 结构布局 #!/usr/bin/env python #(1)起始行 "this is a module" #(2)模块文档 import sys #(3)模块导入 d ...
OpenCV与图像处理学习十五——LBP纹理特征（含代码）
OpenCV与图像处理学习十五--LBP纹理特征(含代码) 一.LBP介绍二.LBP原理三.代码应用一.LBP介绍 LBP(Local Binary Pattern, 局部二值模式) , 是一种 ...
Linux学习十五 DNS基础服务
Linux学习十五 DNS基础服务 DNS服务基础 BIND 伯利克Internet 域名服务主要执行程序:/usr/sbin/named 系统服务:named 默认端口: TCP/UDP 53 主 ...

VALSE学习（十五）：网络搜索结构-NAS

一、NAS(Nueral Architecture Search): 未来之匙，大有可为

VALSE学习（十五）：网络搜索结构-NAS相关推荐

最新文章

热门文章