1 从Relu到Swish

Google Brain是AutoML的先驱，从自动设计网络的NAS到自动数据增强的AutoAugment，因此很自然也最早做自动搜索最优的激活函数工作。

文[1]就在一系列一元函数和二元函数组成的搜索空间中，进行了比较细致的组合搜索实验。

结论是好用的激活函数都比较简单，不会超过两个基本函数的乘的组合。搜到了一些比Relu表现更好的函数，最好的是一个这样的函数：x · σ(βx)，被称为Swish，它在某个特定的参数下也和ReLU及其变种类似，看看图就知道了。

该方法做实验时的一元函数和二元函数的搜索空间已经覆盖我们能想到的一些简单的函数了。

后来研究者们[2]验证了Swish甚至在很多的NLP任务中都非常有效。

在Swish的基础上，后续的研究人员设计了EliSH，HardEliSH[3]，并针对不同的任务学习到了最好的激活函数。

2 Hybrid DNN

每一个网络层都使用同样的激活函数，这是最优的配置吗？显然不是。Hybrid DNN[4]的研究人员就研究了对不同的网络层进行不同激活函数机制的搜索问题，其流程如下：

从流程上来看，就是有一个激活函数库，然后每次从中选择配置到每一个网络层，使用验证集精度来进行最优配置搜索。

关于每一个网络层配置不同的策略，以后我们还会讲到不同的归一化层等配置，这也是一个小的研究方向吧。

参考文献

[1] Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

[2] Eger S, Youssef P, Gurevych I. Is it time to swish? comparing deep learning activation functions across NLP tasks[J]. arXiv preprint arXiv:1901.02671, 2019.

[3] Basirat M , Roth P M . The Quest for the Golden Activation Function[J]. 2018.

[4] Marchisio A, Hanif M A, Rehman S, et al. A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks[J]. arXiv preprint arXiv:1811.03980, 2018.

[5] Nwankpa C , Ijomah W , Gachagan A , et al. Activation Functions: Comparison of trends in Practice and Research for Deep Learning[J]. 2018.

总结

本次我们讨论的内容不涉及到一些学习参数的激活函数如Prelu，而是集中于全新的激活函数形式的探索以及逐层自适应的方案。研究点虽小，也有可以关注一下的。

「AutoML」激活函数如何进行自动学习和配置相关推荐

【AutoML】激活函数如何进行自动学习和配置
大家好,欢迎来到专栏<AutoML>,在这个专栏中我们会讲述AutoML技术在深度学习中的应用.这一期讲述在激活函数设计中的应用. 作者&编辑 | 言有三激活机制是一个网络非线性 ...
「AutoML」强化学习如何用于自动模型设计(NAS)与优化？
作者&编辑 | 言有三一直以来,网络结构的设计是一个非常需要经验且具有挑战性的工作,研究人员从设计功能更加强大和更加高效的模型两个方向进行研究,随着各类经典网络设计思想的完善,如今要手工设计 ...
一文看懂深度学习新王者「AutoML」：是什么、怎么用、未来如何发展？
原作:George Seif 夏乙安妮编译整理量子位出品 | 公众号 QbitAI AutoML和神经架构搜索(NAS),是深度学习领域的新一代王者. 这些方法能快糙猛地搞定机器学习任务,简单 ...
【AutoML】归一化(Normalization)方法如何进行自动学习和配置
大家好,欢迎来到专栏<AutoML>,在这个专栏中我们会讲述AutoML技术在深度学习中的应用.这一期讲述在归一化机制中的应用. 作者&编辑 | 言有三数据经过归一化和标准化后可 ...
rms归一化_【AutoML】归一化(Normalization)方法如何进行自动学习和配置
大家好,欢迎来到专栏<AutoML>,在这个专栏中我们会讲述AutoML技术在深度学习中的应用.这一期讲述在归一化机制中的应用. 作者&编辑 | 言有三数据经过归一化和标准化后可 ...
「干货」谷歌大脑：元学习最新进展与挑战（40 PPT下载）
https://www.toutiao.com/a6651792282443842055/ 2019-01-29 13:51:18 [新智元导读]Hugo Larochelle是谷歌大脑的研究员.深度 ...
python 查看当前目录_「Python」打包分发工具setuptools学习
❝ setuptools是python标准的打包分发工具,它可以将我们编写的python项目打包安装,这样其他同事就可以像调用标准库或python第三方库那样直接使用:也可以将项目上传到Pypi供更多 ...
自监督｜「CoCLR」视频自监督对比学习笔记
Vue「一」—— webpack 的基本使用及常用配置
本文为 Vue 学习系列笔记第一篇,将持续更新. 文章目录一.前端工程化什么是前端工程化前端工程化的解决方案二.webpack 的基本使用什么是 webpack 创建列表隔行变色项目在项目 ...

「AutoML」激活函数如何进行自动学习和配置

1 从Relu到Swish

2 Hybrid DNN

参考文献

「AutoML」激活函数如何进行自动学习和配置相关推荐

最新文章

热门文章