ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding

论文题目：ISTA-NAS: Efficient and Consistent Neural
Architecture Search by Sparse Coding
作者：Yibo Yang、Hongyang Li、 Shan Y ou、Fei Wang、Chen Qian、Zhouchen Lin
来源：34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada.
一：主要内容
将神经结构搜索表述为一个稀疏编码问题。
1、NAS介绍：高维空间的最优参数搜索问题。先定义一个搜索空间，然后通过策略找出候选网络结构，对其进行评估，根据反馈进行下一轮搜索。
NAS搜索策略：基于强化学习、进化算法、梯度算法。
=>前两者基于离散空间搜索，将目标函数看作黑盒子。而基于梯度的算法，是假设搜索空间连续，目标函数可微，搜索更加有效。

二、将NAS搜索转化为稀疏编码问题
1、基于梯度的NAS搜索：
DARTS-（differentiable architecture search）：一个要搜索最优结构的cell可看做是包含N个有序节点的有向无环图。DARTS方法中最关键的是将候选操作使用softmax函数进行混合。这样就将搜索空间变成了连续空间，目标函数成为了可微函数。这样就可以用基于梯度的优化方法找寻最优结构了。搜索结束后，这些混合的操作会被权重最大的操作替代，形成最终的结果网络。
在搜索阶段，不考虑（4）的稀疏性约束。分别通过求解（2）和（3），交替优化ak（i,j）和w。搜索后,zj投射到稀疏约束(4)，只保持最高sj最强的维度。
2、稀疏编码
3、用稀疏编码表示可微的NAS
-搜索空间转换

三、Two-stage ISTA-NAS和One-stage ISTA-NAS
1、两阶段搜索

2、一阶段搜索

ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding相关推荐

2021年 ICCV / NeurIPS / AAAI 中Neural Architecture Search (NAS) 神经网络结构搜索相关论文汇总
这里写自定义目录标题 ICCV (35篇) NeurIPS / NIPS (28篇) AAAI (31篇) ICCV (35篇) Learning Latent Architectural Distr ...
神经架构搜索(Neural Architecture Search,NAS)介绍
神经架构搜索Neural Architecture Search,NAS介绍 Introduction Intractable Search Space Non transferable optima ...
神经网络架构搜索（Neural Architecture Search, NAS）笔记
目录 (一)背景 (二)NAS流程 2.1 定义搜索空间 2.2 搜索策略 (三)加速 (四)变体及扩展 4.1 扩展到其他任务 4.2 扩展到其他超参数 (一)背景机器学习从业者被戏称为" ...
AutoML论文笔记（九）CARS Continuous Evolution for Efficient Neural Architecture Search：连续进化神经网络搜索
文章题目:CARS: Continuous Evolution for Efficient Neural Architecture Search 链接:link https://arxiv.org/a ...
Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution
Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution 高效单幅图像超分辨率的三层神经架构搜索 ...
【读点论文】FBNet:Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search可微分
FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search Abstrac ...
NEURAL ARCHITECTURE SEARCH（NAS）
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING(NAS) 本文讨论的主要问题是 At the moment, neural network ...
[NAS]Neural Architecture Search: A Survey
Neural Architecture Search: A Survey Abstract 近年来深度学习在输多领域取得了惊人的成绩,比如图像识别.语音识别.机器翻译等.深度学习领域一大主要研究方向就 ...
[NAS+Transformer]GLiT: Neural Architecture Search for Global and Local Image Transformer
GLiT:NAS搜索局部和全局Transformer  Abstract Section I Introduction Section II Related work Section III Meth ...

ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding

ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding相关推荐

最新文章

热门文章