引入非线性激励函数的作用

deep neural network可以认为是特征的多层表达，这过程activation function的作用是提供非线性变换。如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。线性变换模型capacity是很有限的，连最简单的异或问题都没法解决。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

在PRML 中有这样一段话：如果网络中的所有隐含单元的激活函数都取线性函数,那么对于任何这种网络,我们总可以
找到一个等价的无隐含单元的网络。这是由于连续的线性变换的组合本身是一个线性变换。然而,如果隐含单元的数量小于输入单元的数量或者小于输出单元的数量,那么网络能够产生的变换不是最一般的从输入到输出的线性变换,因为在隐含单元出的维度降低造成了信息丢失。

参考 https://www.zhihu.com/question/29021768

引入非线性激励函数的作用相关推荐

为什么引入非线性激励函数
BAT机器学习面试1000题系列(第1~305题) - CSDN博客 https://blog.csdn.net/v_july_v/article/details/78121924 为什么引入非线性 ...
为什么引入非线性激励函数？
@张雨石: 第一, 对于神经网络来说,网络的每一层相当于f(wx+b)=f(w'x),对于线性函数,其实相当于f(x)=x,那么在线性激活函数下,每一层相当于用一个矩阵去乘以x,那么多层就是反复的用矩 ...
神经网络激励函数的作用是什么？有没有形象的解释？
来自 | 知乎地址 | https://www.zhihu.com/question/22334626/answer/103835591 神经网络激励函数的作用是什么?有没有形象的解释? 颜沁睿 h ...
【AI面试题】为什么必须在神经网络中引入非线性
如果神经网络中没有引入非线性层,那么神经网络就变成了了线性层的堆叠.而多层线性网络的堆叠本质上还是一个线性层,我们以两层线性网络的堆叠为例: 我们用f(x)表示第一层线性网络,g(x)表 ...
【深度学习之美】激活引入非线性，池化预防过拟合（入门系列之十二）
12.1 两个看似闲扯的问题在开讲本章内容之前,先请你思考两个问题呗:第一个问题,你能用直线画出一张漂亮的笑脸吗?第二个问题是,你知道那副著名的对联:"诸葛一生唯谨慎,吕端大事不糊涂&qu ...
非线性激励函数sigmoid，tanh，softplus，Relu
目前有四种常见的非线性激励函数: sigmoid函数: tanh函数: softplus函数: Relu函数: 其对应得函数图像如下: 函数种类优点缺点 sigmoid函数在整个定义域内可导 g ...
eclipse引入jquery不起作用
eclipse引入jquery不起作用今天在学习jquery的时候,在eclipse中配置了jquery的路径,如图: 导入的没有问题,但是jquery却不起作用,比如写一个简单的语句在页面都看不到 ...
python 链表中头结点的含义以及引入头结点的作用
一.概念头结点:是虚拟出来的一个结点,不保存数据.头结点的next指针指向链表中的第一个节点.对于头结点,数据域可以不存储任何信息,也可存储如链表长度等附加信息.头结点不是链表所必需的. 头指针:是 ...
【Groovy】构建工具 ( 构建工具引入 | Gradle 构建工具作用 | 传统的依赖管理 )
文章目录一.构建工具引入二.Gradle 构建工具作用三.传统的依赖管理一.构建工具引入构建工具用于管理代码项目的依赖 , 编译 , 测试 , 发布周期 ; 常见的构建工具 : An ...

引入非线性激励函数的作用

引入非线性激励函数的作用相关推荐

最新文章

热门文章