机器学习中激活函数的作用

前言

在使用机器学习算法模型中，激活函数的选择也是很重要的，但是对为啥使用激活函数却不太清楚。

激活的定义：
网络的每一层在输出时，都需要进行一次非线性变换，被称为激活。如果不进行激活，则网络中各层均进行线性变换。

激活函数作用

激活函数的作用，为啥使用激活函数的原因

不使用激活函数的话，这样无论网络包含多少层，最终的输出都可以用输入的线性变换表示出来，也就和1层的线性网络没有差别了
另一种说法：
线性的表达能力太有限了，即使经过多层网络的叠加，y=ax+b无论叠加多少层最后仍然是线性的，增加网络的深度根本没有意义
使用激活函数的话，非线性的变换能够让网络存储的信息大大增加，而非线性变换的方式并不固定。
提供网络的非线性建模能力。加入激活函数，深度神经网络才能具备分层的非线性映射学习能力。
激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

因此激活函数是神经网络不可或缺的一部分。

激活函数需要满足的条件

非线性
可微
计算简单
非饱和
单调性
输出有限
参数少
归一化

机器学习中激活函数的作用相关推荐

机器学习中激活函数和模型_探索机器学习中的激活和丢失功能
机器学习中激活函数和模型 In this post, we're going to discuss the most widely-used activation and loss functions ...
机器学习中正则化的作用
监督机器学习问题无非就是"minimizeyour error while regularizing your parameters",也就是在规则化参数的同时最小化 ...
深度学习中激活函数的作用
0.从深度学习开始说起今天检索多标签分本分类的文献时,遇到一个关于激活函数的疑惑: 如果有大牛看到,知道如何更好的理解这句话的含义,希望在评论里解惑! 由惑而生,所以我打算总结一下深度学习模型中常用 ...
形象的解释神经网络激活函数的作用是什么
转载自形象的解释神经网络激活函数的作用是什么神经网络中激活函数的作用查阅资料和学习,大家对神经网络中激活函数的作用主要集中下面这个观点: 激活函数是用来加入非线性因素的,解决性模型所不能解决的 ...
Useful Things To Know About Machine Learning (机器学习中一些有用的知识)
Useful Things To Know About Machine Learning 原文作者:Jason Brownlee 原文地址:https://machinelearningmastery ...
论文解读：华盛顿大学教授Pedro Domingos技术论文：机器学习中一些有用的知识（一）...
摘要: 这是机器学习研究人员和从业人员所学到的12个关键经验教训的总结,包括避免陷阱,重点问题以及常见问题的答案. 机器学习算法可以通过从数据中归纳出如何执行类似任务的方法.在手动编程不适用的情况下, ...
机器学习中的数学（全集）
在当下,机器学习.人工智能领域吸引了许多同学投身其中,其中包含了大量非科班出身或者从其他行业切换赛道转行而来的朋友们,大家在学习的过程中发现学习曲线陡峭.难度较大,普遍的心声就是:机器学习难,首要就是 ...
机器学习中的数学(六)--信息论与激活函数
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
#深入解读# 机器学习中的指数函数和对数函数的作用
在学习机器学习相关理论时,我们常常会会在公式中遇到指数函数和对数函数,但是很时候我们并不理解这些函数的的真正作用,这里结合几个机器学习中的公式来具体分析一下指数函数和对数函数的作用指数函数由上图可 ...
机器学习中的数学——激活函数（八）：Swish函数
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...

机器学习中激活函数的作用

前言

激活函数作用

激活函数需要满足的条件

机器学习中激活函数的作用相关推荐

最新文章

热门文章