一文看懂深度学习新王者「AutoML」：是什么、怎么用？

原文：https://zhuanlan.zhihu.com/p/42924585

原作：George Seif
夏乙安妮编译整理
量子位出品 | 公众号 QbitAI

AutoML和神经架构搜索（NAS），是深度学习领域的新一代王者。

这些方法能快糙猛地搞定机器学习任务，简单有效，高度符合当代科技公司核心价值观。

它们背后原理如何，怎样使用？

技术博客TowardDataScience有一篇文章，就全面介绍了关于AutoML和NAS你需要了解的一切。

NAS

要了解AutoML，还得从NAS说起。

在开发神经网络的过程中，架构工程事关重大，架构先天不足，再怎么训练也难以得到优秀的结果。

当然，提到架构，很多人会想到迁移学习：把ImageNet上训练的ResNet拿来，换个我需要的数据集再训练训练更新一下权重，不就好了嘛！

这种方法的确也可行，但是要想得到最好的效果，还是根据实际情况设计自己的网络架构比较靠谱。

设计神经网络架构，能称得上机器学习过程中门槛最高的一项任务了。想要设计出好架构，需要专业的知识技能，还要大量试错。

NAS就为了搞定这个费时费力的任务而生。

这种算法的目标，就是搜索出最好的神经网络架构。它的工作流程，通常从定义一组神经网络可能会用到的“建筑模块”开始。比如说Google Brain那篇NasNet论文，就为图像识别网络总结了这些常用模块：

其中包含了多种卷积和池化模块。

论文：Learning Transferable Architectures for Scalable Image Recognition
地址：https://arxiv.org/pdf/1707.07012.pdf

NAS算法用一个循环神经网络（RNN）作为控制器，从这些模块中挑选，然后将它们放在一起，来创造出某种端到端的架构。

这个架构，通常会呈现出和ResNet、DenseNet等最前沿网络架构一样的风格，但是内部模块的组合和配置有所区别。一个架构的好坏，往往就取决于选择的模块和在它们之间构建的连接。

接下来，就要训练这个新网络，让它收敛，得到在留出验证集上的准确率。这个准确率随后会用来通过策略梯度更新控制器，让控制器生成架构的水平越来越高。

过程如下图所示

这个过程很直观了。简单来说，很有小朋友搭积木的风范：让一个算法挑出一些积木，然后把它们组装在一起，做成一个神经网络。训练、测试，根据这个结果来调整选积木的标准和组装的方式。这个算法大获成功，NasNet论文展现出非常好的结果，有一部分原因是出于他们做出的限制和假设。

论文里训练、测试NAS算法发现的架构，都用了一个比现实情况小得多的数据集。当然，这是一种折衷的方法，要在ImageNet那么大的数据集上训练验证每一种搜索结果，实在是太耗费时间了。

所以，他们做出了一个假设：如果一个神经网络能在结构相似的小规模数据集上得到更好的成绩，那么它在更大更复杂的数据集上同样能表现得更好。

在深度学习领域，这个假设基本上是成立的。

上面还提到了一个限制，这指的是搜索空间其实很有限。他们设计NAS，就要用它来构建和当前最先进的架构风格非常类似的网络。

在图像识别领域，这就意味着用一组模块重复排列，逐步下采样，如下图所示：

这些模块也都是当前研究中常用的。NAS算法在其中所做的新工作，主要是给这些模块换个连接方式。

下面，就是它发现的ImageNet最佳神经网络架构：

架构搜索的进展

这篇NASNet论文带动了行业内的一次进步，它为深度学习研究指出了一个全新方向。

但是，用450个GPU来训练，找到一个优秀的架构也需要训练3到4天。也就是说，对于除了Google之外的普通贫民用户们，这种方法还是门槛太高、效率太低。

NAS领域最新的研究，就都在想方设法让这个架构搜索的过程更高效。

2017年谷歌提出的渐进式神经架构搜索（PNAS），建议使用名叫“基于序列模型的优化（SMBO）”的策略，来取代NASNet里所用的强化学习。用SMBO策略时，我们不是随机抓起一个模块就试，而是按照复杂性递增的顺序来测试它们并搜索结构。

这并不会缩小搜索空间，但确实用更聪明的方法达到了类似的效果。SMBO基本上都是在讲：相比于一次尝试多件事情，不如从简单的做起，有需要时再去尝试复杂的办法。这种PANS方法比原始的NAS效率高5到8倍，也便宜了许多。

论文：Progressive Neural Architecture Search
地址：https://arxiv.org/pdf/1712.00559.pdf

高效神经架构搜索（ENAS），是谷歌打出的让传统架构搜索更高效的第二枪，这种方法很亲民，只要有GPU的普通从业者就能使用。作者假设NAS的计算瓶颈在于，需要把每个模型到收敛，但却只是为了衡量测试精确度，然后所有训练的权重都会丢弃掉。

论文：Efficient Neural Architecture Search via Parameter Sharing
地址：https://arxiv.org/pdf/1802.03268.pdf

因此，ENAS就要通过改进模型训练方式来提高效率。

在研究和实践中已经反复证明，迁移学习有助在短时间内实现高精确度。因为为相似任务训练的神经网络权重相似，迁移学习基本只是神经网络权重的转移。

ENAS算法强制将所有模型的权重共享，而非从零开始训练模型到收敛，我们在之前的模型中尝试过的模块都将使用这些学习过的权重。因此，每次训练新模型是都进行迁移学习，收敛速度也更快。

深度学习新方法AutoML

很多人将AutoML称为深度学习的新方式，认为它改变了整个系统。有了AutoML，我们就不再需要设计复杂的深度学习网络，只需运行一个预先设置好的NAS算法。

最近，Google提供的Cloud AutoML将这种理念发挥到了极致。只要你上传自己的数据，Google的NAS算法就会为你找到一个架构，用起来又快又简单。

AutoML的理念就是把深度学习里那些复杂的部分都拿出去，你只需要提供数据，随后就让AutoML在神经网络设计上尽情发挥吧。这样，深度学习就变得像插件一样方便，只要有数据，就能自动创建出由复杂神经网络驱动的决策功能。

△ 谷歌云的AutoML pipeline

不过，AutoML价格也并不算亲民，每小时收费20美元。此外，一旦你开始训练，则无法导出模型，并且得用谷歌提供的API在云上运行你的网络，这些限制看起来都不是很方便，

AutoKeras也是一个使用了ENAS算法的GitHub项目，可以使用pip安装。它是用Keras编写的，因此很容易控制和使用，甚至可以自己深入研究ENAS算法并尝试进行一些改动。

如果你喜欢用TensorFlow或者Pytorch，也有一些开源项目可用：

https://github.com/melodyguan/enas

https://github.com/carpedm20/ENAS-pytorch

总的来说，若你想使用AutoML，现在已经有很多不同的选择，这完全取决于你是否会使用你想要的算法，以及你对这件事的预算如何。

AutoML和NAS未来会怎样？

过去几年，在深度学习工作的自动化上，整个领域都在大步向前，让深度学习更贴近大众、更易用。

不过，进步的空间永远都有。

架构搜索已经越来越高效了，用ENAS，一个GPU一天就能找出一种新的网络架构。的确鹅妹子嘤，但是这个搜索空间依然非常有限，而且，现在NAS算法所用的基本结构和模块还是人工设计的，只是将组装的过程自动化了。

将来要想取得重大突破，在更广阔的搜索范围里搜索真正的新架构是一个重要方向。

如果这样的算法出现，甚至能为我们揭示庞大复杂深度神经网络中隐藏的秘密。

当然，要实现这样的搜索空间，需要设计出更高效的算法。

最后，附上原文传送门：
https://towardsdatascience.com/the-end-of-open-ai-competitions-ff33c9c69846

这篇文章全面介绍了用来自动寻找神经网络架构的AutoML，量子位之前还介绍过很多深度学习其他工作的自动化框架，比如自动特征工程、自动调参等等。

深度学习新王者AutoML和NAS相关推荐

一文看懂深度学习新王者「AutoML」：是什么、怎么用、未来如何发展？
原作:George Seif 夏乙安妮编译整理量子位出品 | 公众号 QbitAI AutoML和神经架构搜索(NAS),是深度学习领域的新一代王者. 这些方法能快糙猛地搞定机器学习任务,简单 ...
谷歌发布深度学习新算法，适用于真实机器人的技能学习
https://www.toutiao.com/a6649215346496504327/ 2019-01-22 15:11:28 通过这种名叫SAC(柔性致动/评价)的强化学习算法,机器人能很快地完 ...
深度学习新算法，完成字里行间的情绪识别
深度学习新算法,完成字里行间的情绪识别发表于2013-10-12 11:41| 40891次阅读| 来源Wired| 68 条评论| 作者Daniela Hernandez 深度学习人工智能机器学习 ...
网络化计算机代表图片,图网络——悄然兴起的深度学习新浪潮 | AISociety
原标题:图网络--悄然兴起的深度学习新浪潮 | AI&Society 现实世界中的大量问题都可以抽象成图模型(Graph Model),也就是节点和连边的集合.从知识图谱到概率图模型,从蛋白质 ...
【深度学习】图网络——悄然兴起的深度学习新浪潮
[深度学习]图网络--悄然兴起的深度学习新浪潮 https://mp.weixin.qq.com/s/mOZDN9u7YCdtYs6DbUml0Q 现实世界中的大量问题都可以抽象成图模型(Graph ...
深度学习新的采样方式和损失函数--论文笔记
深度学习新的采样方式和损失函数--论文笔记论文<Sampling matters in deep embedding learning> 论文地址:https://arxiv.org/p ...
神经网络可解释性、深度学习新方法，2020 年 AI 有哪些势不可挡的研究趋势？...
来演:雷锋网 2019 年最后一场学术顶会告诉我们 2020 年该研究什么! 文 | MrBear 作为 2019 年最后一场重量级的人工智能国际学术顶会,NeurIPS 2019 所反映出的一些人工 ...
华为深度学习新模型DeepShift：移位和求反代替乘法，成本大降
2020-01-10 11:51:49 [新智元导读]深度学习模型,尤其是卷积神经网络的计算成本问题主要是由于卷积层和全连接层中大量进行乘法运算造成的.华为异构实验室的研究人员提出,用移位和求反运算代 ...
华为深度学习新模型DeepShift：移位和求反代替乘法，神经网络成本大降
来源:机器学习研究会订阅号 [导读]深度学习模型,尤其是卷积神经网络的计算成本问题主要是由于卷积层和全连接层中大量进行乘法运算造成的.华为异构实验室的研究人员提出,用移位和求反运算代替乘法,可有效缓解 ...

深度学习新王者AutoML和NAS

一文看懂深度学习新王者「AutoML」：是什么、怎么用？

NAS

深度学习新方法AutoML

AutoML和NAS未来会怎样？

深度学习新王者AutoML和NAS相关推荐

最新文章

热门文章