3.7 为什么需要非线性激活函数-深度学习-Stanford吴恩达教授
| ←上一篇 | ↓↑ | 下一篇→ |
|---|---|---|
| 3.6 激活函数 | 回到目录 | 3.8 激活函数的导数 |
为什么需要非线性激活函数 (Why do you need non-linear activation function?)
为什么神经网络需要非线性激活函数？事实证明：要让你的神经网络能够计算出有趣的函数，你必须使用非线性激活函数，证明如下：
这是神经网络正向传播的方程，现在我们去掉函数 ggg ，然后令 a[1]=z[1]a^{[1]}=z^{[1]}a[1]=z[1] ，或者我们也可以令 g(z)=zg(z)=zg(z)=z ，这个有时被叫做线性激活函数（更学术点的名字是恒等激励函数，因为它们就是把输入值输出）。为了说明问题我们把 a[2]=z[2]a^{[2]}=z^{[2]}a[2]=z[2] ，那么这个模型的输出 yyy 或仅仅只是输入特征 xxx 的线性组合。
如果我们改变前面的式子，令： (1) a[1]=z[1]=W[1]x+b[1]a^{[1]}=z^{[1]}=W^{[1]}x+b^{[1]}a[1]=z[1]=W[1]x+b[1]
(2) a[2]=z[2]=W[2]a[1]+b[2]a^{[2]}=z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}a[2]=z[2]=W[2]a[1]+b[2] 将式子(1)代入式子(2)中，则：a[2]=z[2]=W[2](W[1]x+b[1])+b[2]a^{[2]}=z^{[2]}=W^{[2]}(W^{[1]}x+b^{[1]})+b^{[2]}a[2]=z[2]=W[2](W[1]x+b[1])+b[2]
(3) a[2]=z[2]=W[2]W[1]x+W[2]b[1]+b[2]a^{[2]}=z^{[2]}=W^{[2]}W^{[1]}x+W^{[2]}b^{[1]}+b^{[2]}a[2]=z[2]=W[2]W[1]x+W[2]b[1]+b[2] 简化多项式得 a[2]=z[2]=W′x+b′a^{[2]}=z^{[2]}=W^{'}x+b^{'}a[2]=z[2]=W′x+b′ 如果你是用线性激活函数或者叫恒等激励函数，那么神经网络只是把输入线性组合再输出。
我们稍后会谈到深度网络，有很多层的神经网络，很多隐藏层。事实证明，如果你使用线性激活函数或者没有使用一个激活函数，那么无论你的神经网络有多少层一直在做的只是计算线性函数，所以不如直接去掉全部隐藏层。在我们的简明案例中，事实证明如果你在隐藏层用线性激活函数，在输出层用sigmoid函数，那么这个模型的复杂度和没有任何隐藏层的标准Logistic回归是一样的，如果你愿意的话，可以证明一下。
在这里线性隐层一点用也没有，因为这两个线性函数的组合本身就是线性函数，所以除非你引入非线性，否则你无法计算更有趣的函数，即使你的网络层数再多也不行；只有一个地方可以使用线性激活函数------ g(z)=zg(z)=zg(z)=z ，就是你在做机器学习中的回归问题。 yyy 是一个实数，举个例子，比如你想预测房地产价格， yyy 就不是二分类任务0或1，而是一个实数，从0到正无穷。如果 yyy 是个实数，那么在输出层用线性激活函数也许可行，你的输出也是一个实数，从负无穷到正无穷。
总而言之，不能在隐藏层用线性激活函数，可以用ReLU或者tanh或者leaky ReLU或者其他的非线性激活函数，唯一可以用线性激活函数的通常就是输出层；除了这种情况，会在隐层用线性函数的，除了一些特殊情况，比如与压缩有关的，那方面在这里将不深入讨论。在这之外，在隐层使用线性激活函数非常少见。因为房价都是非负数，所以我们也可以在输出层使用ReLU函数这样你的 y^\hat{y}y^ 都大于等于0。
理解为什么使用非线性激活函数对于神经网络十分关键，接下来我们讨论梯度下降，并在下一个视频中开始讨论梯度下降的基础——激活函数的导数。
课程PPT
| ←上一篇 | ↓↑ | 下一篇→ |
|---|---|---|
| 3.6 激活函数 | 回到目录 | 3.8 激活函数的导数 |
3.7 为什么需要非线性激活函数-深度学习-Stanford吴恩达教授相关推荐
- 3.6 激活函数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.5 向量化实现的解释 回到目录 3.7 为什么需要非线性激活函数 激活函数 (Activation Function) 使用一个神经网络时,需要决定使用哪种激活函数用隐藏 ...
- 2.19 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.18 Logistic 损失函数的解释 回到目录 3.1 神经网络概览 文章目录 总结 习题 第 11 题 第 12 题 第 13 题 第 14 题 第 15 题 第 1 ...
- 3.12 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.11 随机初始化 回到目录 4.1 深层神经网络 文章目录 总结 习题 第 21 题 第 22 题 第 23 题 第 24 题 第 25 题 第 26 题 第 27 题 ...
- 3.5 向量化实现的解释-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.4 多个例子中的向量化 回到目录 3.6 激活函数 向量化实现的解释 (Explanation for Vectorized Implementation) 在上一个视频 ...
- 3.8 激活函数的导数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.7 为什么需要非线性激活函数 回到目录 3.9 神经网络的梯度下降法 激活函数的导数 (Derivatives of Activation Functions) 在神经网 ...
- 4.7 参数 vs 超参数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.6 前向和反向传播 回到目录 4.8 这和大脑有什么关系 参数 vs 超参数 (Parameters vs. Hyperparameters) 想要你的深度神经网络起很好 ...
- 4.1 深层神经网络-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.12 总结习题 回到目录 4.2 深层网络中的前向传播 深层神经网络 (Deep L-layer Neural Network) 目前为止我们学习了只有一个单独隐藏层的神 ...
- 3.9 神经网络的梯度下降法-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 激活函数的导数 回到目录 3.10 直观理解反向传播 神经网络的梯度下降法 (Gradient Descent for Neural Networks) 在这个视频中 ...
- 1.7 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.6 课程资源 回到目录 2.1 二元分类 总结 习题 第 1 题 "人工智能是新电力"这个比喻指的是什么? A.人工智能为我们的家庭和办公室的个人设备 ...
最新文章
- pytorch.forward()方法
- Ubuntu Server系列各项服务的安装和维护 Apache部分
- 计算机专业申请计算生物学,卡内基梅隆大学计算生物学硕士专业
- selenium中的对文本进行全选，复制，粘贴，剪切和删除的操作
- mkfontscale没有这个命令_那些实用的小命令
- Unity3D基础35：五彩砖块
- Rocketmq中Topic、Tag、GroupName的设计思想
- ES6 关于Set对象
- 大象英语-电脑键盘练习工具儿童版（学英语、学电脑）
- 在微软工作有多舒服？
- ElementUI修改Dialog的标题样式
- linux卸载kodi,如何在Ubuntu 18.04上安装Kodi
- MATLAB编写m函数理解 y=f(g(x))*h(x)
- 5G笔记| 概述：5G三大应用场景、5G关键技术概览
- 520到了! 我用Python拜托周董为我和女友送上祝福！
- 关于C语言二级机考软件环境的一些问题
- @Value 读取 map
- DIAL算法计算单位流率-python实现
- 视频教程-经典Vue从入门到案例到源码分析教程（含资料）-Vue
- MySQL查询报错Unknown column ‘new_edition‘ in ‘IN/ALL/ANY subquery‘