为什么引入非线性激励函数？

@张雨石：

第一， 对于神经网络来说，网络的每一层相当于f(wx+b)=f(w'x)，对于线性函数，其实相当于f(x)=x，那么在线性激活函数下，每一层相当于用一个矩阵去乘以x，那么多层就是反复的用矩阵去乘以输入。根据矩阵的乘法法则，多个矩阵相乘得到一个大矩阵。所以线性激励函数下，多层网络与一层网络相当。比如，两层的网络f(W1*f(W2x))=W1W2x=Wx。
第二，非线性变换是深度学习有效的原因之一。原因在于非线性相当于对空间进行变换，变换完成后相当于对问题空间进行简化，原来线性不可解的问题现在变得可以解了。
下图可以很形象的解释这个问题，左图用一根线是无法划分的。经过一系列变换后，就变成线性可解的问题了。

@Begin Again，来源：https://www.zhihu.com/question/29021768
如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。
正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释）。

为什么引入非线性激励函数？相关推荐

为什么引入非线性激励函数
BAT机器学习面试1000题系列(第1~305题) - CSDN博客 https://blog.csdn.net/v_july_v/article/details/78121924 为什么引入非线性 ...
引入非线性激励函数的作用
deep neural network可以认为是特征的多层表达,这过程activation function的作用是提供非线性变换.如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况 ...
【AI面试题】为什么必须在神经网络中引入非线性
如果神经网络中没有引入非线性层,那么神经网络就变成了了线性层的堆叠.而多层线性网络的堆叠本质上还是一个线性层,我们以两层线性网络的堆叠为例: 我们用f(x)表示第一层线性网络,g(x)表 ...
【深度学习之美】激活引入非线性，池化预防过拟合（入门系列之十二）
12.1 两个看似闲扯的问题在开讲本章内容之前,先请你思考两个问题呗:第一个问题,你能用直线画出一张漂亮的笑脸吗?第二个问题是,你知道那副著名的对联:"诸葛一生唯谨慎,吕端大事不糊涂&qu ...
非线性激励函数sigmoid，tanh，softplus，Relu
目前有四种常见的非线性激励函数: sigmoid函数: tanh函数: softplus函数: Relu函数: 其对应得函数图像如下: 函数种类优点缺点 sigmoid函数在整个定义域内可导 g ...
为什么引入ReLU激活函数
https://blog.csdn.net/fredinators/article/details/79443386 ReLu是神经网络中的一个激活函数,其优于tanh和sigmoid函数. 1.为何 ...
卷积神经网络CNNs的理解与体会
https://blog.csdn.net/shijing_0214/article/details/53143393 孔子说过,温故而知新,时隔俩月再重看CNNs,当时不太了解的地方,又有了新的理解 ...
总结了200道经典的机器学习面试题 (附参考答案)
作者丨qinjianhuang 链接 https://blog.csdn.net/sinat_35512245/article/details/78796328 刷题,是面试前的必备环节.本文作者总结 ...
机器学习笔试面试超详细总结（四）
文章目录 151.Ridge回归.Lasso回归(坐标下降法求解) 152.电影推荐系统是以下哪些的应用实例 153.决策树是否可以用来聚类--可以 154.什么方法最适合于在n维空间做异常点检测 1 ...

为什么引入非线性激励函数？

为什么引入非线性激励函数？相关推荐

最新文章

热门文章