如何选择正确的激活函数？

如何选择正确的激活函数？

现在我们已经了解了这么多的激活函数，接下来就需要分析在哪种情况下应该使用哪种激活函数了。激活函数好或坏，不能凭感觉定论。然而，根据问题的性质，我们可以为神经网络更快更方便地收敛作出更好的选择。

用于分类器时，Sigmoid函数及其组合通常效果更好。

由于梯度消失问题，有时要避免使用sigmoid和tanh函数。

ReLU函数是一个通用的激活函数，目前在大多数情况下使用。

如果神经网络中出现死神经元，那么PReLU函数就是最好的选择。

请记住，ReLU函数只能在隐藏层中使用。

一点经验：你可以从ReLU函数开始，如果ReLU函数没有提供最优结果，再尝试其他激活函数。

转载于:https://www.cnblogs.com/bonelee/p/8572556.html

如何选择正确的激活函数？相关推荐

改善C#程序的建议3：在C#中选择正确的集合进行编码
原文:改善C#程序的建议3:在C#中选择正确的集合进行编码要选择正确的集合,我们首先要了解一些数据结构的知识.所谓数据结构,就是相互之间存在一种或多种特定关系的数据元素的集合.结合下图,我们看一下对 ...
教程 | 算法太多挑花眼？教你如何选择正确的机器学习算法
选自Hackernoon 作者:Rajat Harlalka 机器之心编译机器学习算法虽多,却没有什么普适的解决方案.决策树.随机森林.朴素贝叶斯.深度网络等等等等,是不是有时候觉得挑花了眼呢?福利 ...
如何选择正确的RAID级别
存储世界5月23日报道:目前,根据应用程序.磁盘驱动器种类.预算标准选择正确的RAID级别和10年前一样重要. 例如,如果你想实现高效能的读操作和写操作,你可能就要使用小型磁盘驱动器,避免使用RAID ...
button点击改变颜色_【干货】眉笔颜色要选对，三步教你选择正确眉色
是新朋友吗?记得先点蓝字关注我哦- 画好眉毛可以使得五官更具有立体感,因此选择正确的眉笔颜色非常重要.可是许多MM都不知道如何选择正确眉笔颜色,正为此烦恼,其实选择眉笔颜色很简单,只需要简单三步,就可 ...
[转]oracle设计数据库应选择正确的数据类型
原文地址:http://blog.sina.com.cn/s/blog_5014663501007n40.html 在设计数据库的时候,选择正确的数据类型,往往可以避免很多的问题,正确理解数据库的类型 ...
lazada新手开店之后，怎样选择正确类目来发布产品？
一.Lazada产品流量从何而来? 1.导航搜索通过主页类目导航栏查找: ● Shop Categories(按类目购物) ● 选择一级主类目 ● 选择二级子类目 ● 引导至该子类目页面;可继续选择 ...
ecshop 搜索热词推荐_拼多多搜索推广实操——如何选择正确的关键词实现高投产！...
原标题:拼多多搜索推广实操--如何选择正确的关键词实现高投产! 大家好我是拼多多运营林枫,每天都会更新新的内容哦,没关注的记得关注一下哦! 今天和大家讲讲搜索推广怎么正确选择有效的关键词,很多商家可能 ...
大快网站：如何选择正确的hadoop版本
大快网站:如何选择正确的hadoop版本 Hadoop的环境安装部署是所有刚开始学习hadoop必然要面对的一个问题,对于新手而言基本不会一次性部署成功,甚至可能要花费好几天的时间才能完成hadoop ...
算法太多挑花眼？教你如何选择正确的机器学习算法
选自Hackernoon,作者:Rajat Harlalka,机器之心编译. 机器学习算法虽多,却没有什么普适的解决方案.决策树.随机森林.朴素贝叶斯.深度网络等等等等,是不是有时候觉得挑花了眼呢?福 ...

如何选择正确的激活函数？

如何选择正确的激活函数？相关推荐

最新文章

热门文章