2.5 导数-深度学习-Stanford吴恩达教授
| ←上一篇 | ↓↑ | 下一篇→ |
|---|---|---|
| 2.4 梯度下降法 | 回到目录 | 2.6 更多导数的例子 |
导数 (Derivatives)
这个视频我主要是想帮你获得对微积分和导数直观的理解。或许你认为自从大学毕以后你再也没有接触微积分。这取决于你什么时候毕业，也许有一段时间了，如果你顾虑这点，请不要担心。为了高效应用神经网络和深度学习，你并不需要非常深入理解微积分。因此如果你观看这个视频或者以后的视频时心想：“哇哦，这些知识、这些运算对我来说很复杂。”我给你的建议是：坚持学习视频，最好下课后做作业，成功的完成编程作业，然后你就可以使用深度学习了。在第四周之后的学习中，你会看到定义的很多种类的函数，通过微积分他们能够帮助你把所有的知识结合起来，其中有的叫做前向函数和反向函数，因此你不需要了解所有你使用的那些微积分中的函数。所以你不用担心他们，除此之外在对深度学习的尝试中，这周我们要进一步深入了解微积分的细节。所有你只需要直观地认识微积分，用来构建和成功的应用这些算法。最后，如果你是精通微积分的那一小部分人群，你对微积分非常熟悉，你可以跳过这部分视频。其他同学让我们开始深入学习导数。
一个函数 f(a)=3af(a)=3af(a)=3a ，它是一条直线。下面我们来简单理解下导数。让我们看看函数中几个点，假定 a=2a=2a=2 ，那么 f(a)f(a)f(a) 是 aaa 的3倍等于6，也就是说如果 a=2a=2a=2 ，那么函数 f(a)=6f(a)=6f(a)=6 。假定稍微改变一点点 aaa 的值，只增加一点，变为2.001，这时 aaa 将向右做微小的移动。0.001的差别实在是太小了，不能在图中显示出来，我们把它右移一点，现在 f(a)f(a)f(a) 等于 aaa 的3倍是6.003，画在图里，比例不太符合。请看绿色高亮部分的这个小三角形，如果向右移动0.001，那么 f(a)f(a)f(a) 增加0.003， f(a)f(a)f(a) 的值增加3倍于右移的 aaa ，因此我们说函数 f(a)f(a)f(a) 在 a=2a=2a=2 ，是这个导数的斜率，或者说，当 a=2a=2a=2 时，斜率是3。导数这个概念意味着斜率，导数听起来是一个很可怕、很令人惊恐的词，但是斜率以一种很友好的方式来描述导数这个概念。所以提到导数，我们把它当作函数的斜率就好了。更正式的斜率定义为在上图这个绿色的小三角形中，高除以宽。即斜率等于0.003除以0.001，等于3。或者说导数等于3，这表示当你将 aaa 右移0.001，f(a)f(a)f(a) 的值增加3倍水平方向的量。
现在让我们从不同的角度理解这个函数。 假设 a=5a=5a=5 ，此时 f(a)=3a=15f(a)=3a=15f(a)=3a=15 。 把 aaa 右移一个很小的幅度，增加到5.001，f(a)=15.003f(a)=15.003f(a)=15.003。 即在 a=5a=5a=5 时，斜率是3，这就是表示，当微小改变变量 aaa 的值，df(a)da=3\frac{df(a)}{da}=3dadf(a)=3 。一个等价的导数表达式可以这样写 ddaf(a)\frac{d}{da}f(a)dadf(a)，不管你是否将 f(a)f(a)f(a) 放在上面或者放在右边都没有关系。 在这个视频中，我讲解导数讨论的情况是我们将 aaa 偏移0.001，如果你想知道导数的数学定义，导数是你右移很小的 aaa 值（不是0.001，而是一个非常非常小的值）。通常导数的定义是你右移 aaa (可度量的值)一个无限小的值， f(a)f(a)f(a) 增加3倍（增加了一个非常非常小的值）。也就是这个三角形右边的高度。
那就是导数的正式定义。但是为了直观的认识，我们将探讨右移 这个值，即使 a=0.001a=0.001a=0.001 并不是无穷小的可测数据。导数的一个特性是：这个函数任何地方的斜率总是等于3，不管 a=2a=2a=2 或 a=5a=5a=5 ，这个函数的斜率总等于3，也就是说不管 aaa 的值如何变化，如果你增加0.001， f(a)f(a)f(a) 的值就增加3倍。这个函数在所有地方的斜率都相等。一种证明方式是无论你将小三角形画在哪里，它的高除以宽总是3。
我希望带给你一种感觉：什么是斜率？什么是导函数？对于一条直线，在例子中函数的斜率，在任何地方都是3。在下一个视频让我们看一个更复杂的例子，这个例子中函数在不同点的斜率是可变的。
课程PPT
| ←上一篇 | ↓↑ | 下一篇→ |
|---|---|---|
| 2.4 梯度下降法 | 回到目录 | 2.6 更多导数的例子 |
2.5 导数-深度学习-Stanford吴恩达教授相关推荐
- 3.8 激活函数的导数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.7 为什么需要非线性激活函数 回到目录 3.9 神经网络的梯度下降法 激活函数的导数 (Derivatives of Activation Functions) 在神经网 ...
- 2.19 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.18 Logistic 损失函数的解释 回到目录 3.1 神经网络概览 文章目录 总结 习题 第 11 题 第 12 题 第 13 题 第 14 题 第 15 题 第 1 ...
- 3.12 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.11 随机初始化 回到目录 4.1 深层神经网络 文章目录 总结 习题 第 21 题 第 22 题 第 23 题 第 24 题 第 25 题 第 26 题 第 27 题 ...
- 3.5 向量化实现的解释-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.4 多个例子中的向量化 回到目录 3.6 激活函数 向量化实现的解释 (Explanation for Vectorized Implementation) 在上一个视频 ...
- 3.10 直观理解反向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.9 神经网络的梯度下降法 回到目录 3.11 随机初始化 直观理解反向传播 (Backpropagation Intuition (Optional)) 这个视频主要是推 ...
- 3.9 神经网络的梯度下降法-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 激活函数的导数 回到目录 3.10 直观理解反向传播 神经网络的梯度下降法 (Gradient Descent for Neural Networks) 在这个视频中 ...
- 3.6 激活函数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.5 向量化实现的解释 回到目录 3.7 为什么需要非线性激活函数 激活函数 (Activation Function) 使用一个神经网络时,需要决定使用哪种激活函数用隐藏 ...
- 2.10 m 个样本的梯度下降-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.9 Logistic 回归的梯度下降法 回到目录 2.11 向量化 mmm 个样本的梯度下降 (Gradient Descent on mmm example) 在之前的 ...
- 4.7 参数 vs 超参数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.6 前向和反向传播 回到目录 4.8 这和大脑有什么关系 参数 vs 超参数 (Parameters vs. Hyperparameters) 想要你的深度神经网络起很好 ...
最新文章
- 招聘 | 浙江农林大学孙学鹏团队招聘事业编制科研人员
- 创智播客 大数据_华中人工智能主题产业园——武汉融创智谷
- 通过FM CO_VB_ORDER_POST更新生产订单的Components数据
- 【bzoj3160】万径人踪灭
- cf1561D Up the Strip(D1D2)
- 三、mongodb数据库系列——mongodb和python交互 总结
- JS笔记-前端实现验证码功能
- Redis实现消息队列之生产消费模式
- asp.net 2.0中允许一次上传多个文件的设计
- git显示分支关系图
- 2020杭电多校6 1006A Very Easy Graph Problem血泪史
- Mac OS下Axure RP 8.0.0.3312安装及注册汉化
- 输出流创建txt文件
- Godot入门遇到的一些问题汇总
- 得力人脸识别考勤机密码设置_人脸指纹混合识别考勤机得力怎么使用
- 历经 33 天，终于拿到了心仪的 Offer
- 消防行业感温电缆厂家有哪些？
- P2655 2038年问题
- xy苹果助手未受信任_苹果手机怎么设置信用软件
- 阿里网盘内测 你申请了吗? 阿里网盘内测资格