吴恩达深度学习 —— 2.5 导数
这节的目的是对微积分和导数有直观的理解，如下图所示，直线f(a)=3af(a)=3af(a)=3a，它是一条直线。直观的理解导数，让我们看看函数中几个点，假定a=2，那么f(a)等于a的3倍，等于6。也就是说，如果a=2，那么函数f(a)=6.我们稍微改变a的值，只增加一点点，a的值变为2.001，往右小小地移动一下，那么f(a)=6.003，观察图中绿色的三角形区域，如果点a向右移动0.001，那么f(a)增加0.003，f(a)增加的值3倍于a往右移的量。因此我们说斜率，即导数，函数f(a)在a=2处，或者说，当a=2时，斜率是3，导数这个概念基本意味着斜率，导数听起来是个很吓人的词，但是斜率以一种很友好的方式来描述导数这个概念。所以有时候提到导数，把它当做函数的斜率就好了。
更正式的斜率定义为高除于宽，例如图中的绿色小三角形，斜率为3，或者说导数等于3，这表示当你将a右移0.001，f(a)的值将增加3倍的量。
现在让我们在不同点，看看这个函数，假设a=5，此时得到的f(a)的值为15，再一次右移a，很小幅度，增加到5.001，f(a)的值变为15.003,。再一次，当增加a，将a右移0.001，f(a)的值增加3倍，所以在a=5时，斜率是3,。
把函数f(a)=3af(a)=3af(a)=3a的斜率写为df(a)da\frac{df(a)}{da}dadf(a)，这表示f(a)的斜率，当你微小地改变变量a的值，这个公式的值就是3。导数公式的另一个表达方式，可以写为ddaf(a)\frac{d}{da}f(a)dadf(a)，不管是否将f(a)放在上面都没有关系，这些等式意味着将a右移一点，f(a)的值会增加3倍于移动a的值。
导数是，将a右移非常小的值，不是0.001，是一个非常非常小的值。导数的定义是，右移a一个不可度量的值，一个无限小的值，f(a)会增加一个非常非常小的值，这个值3倍于a的变化值。
导数的一个特性是，这个函数任何地方的斜率总是等于3。就是说不管a的值怎么变化，如果你增加0.001，f(a)的值就增加3倍，这个函数在所有地方的斜率都相等。一种证明方式时，无论将小三角形画在哪里，它的高除于宽的比值，总是3比1。
吴恩达深度学习 —— 2.5 导数相关推荐
- 深度学习入门首推资料--吴恩达深度学习全程笔记分享
本文首发于微信公众号"StrongerTang",可打开微信搜一搜,或扫描文末二维码,关注查看更多文章. 原文链接:(https://mp.weixin.qq.com/s?__bi ...
- 花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录 0. 前言 1. 对数似然梯度 1.1 朴素 MCMC 算法 1.2 对比散度算法 CD 1.3 随机最大似然 SML 2. 伪似然 3. 得分匹配 SM 4. 比率匹配 RM 5. 去噪得 ...
- 花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
文章目录 0. 前言 1. 欠完备自编码器 2. 去噪自编码器 DAE 3. 收缩自编码器 CAE 4. 稀疏自编码器 5. 预测稀疏分解 PSD 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞 ...
- 花书+吴恩达深度学习（四）多分类 softmax
目录 0. 前言 1. 二分类 sigmoid 2. 多分类 softmax 3. 多分类 softmax 梯度下降推导 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书 ...
- 花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）
目录 0. 前言 1. ReLU 整流线性单元 2. 绝对值整流线性单元 3. 渗漏整流线性单元 4. 参数化整流线性单元 5. maxout 单元 6. logistic sigmoid 单元 7. ...
- 花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）
目录 0. 前言 1. 每一个神经元的组成 2. 梯度下降改善线性参数 3. 非线性激活函数 4. 输出单元 4.1. 线性单元 4.2. sigmoid 单元 4.3. softmax 单元 5. ...
- 吴恩达深度学习教程——中文笔记网上资料整理
吴恩达深度学习笔记整理 内容为网上博主博文整理,如有侵权,请私信联系. 课程内容: Coursera:官方课程安排(英文字幕).付费用户在课程作业中可以获得作业评分,每门课程修完可获得结课证书:不付费 ...
- 吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航 前言 传送门 卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
- 吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录 前言 传送门 神经网络与深度学习(Neural Networks and Deep Learning) 绪论 梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
最新文章
- ATS 5.3.0分级缓存
- 会考flash中文字变形为三角形_关于信息技术会考 Flash操作题实用模版
- mysql 表结构关系_mysql 表关系 与 修改表结构
- ffmpeg基本用法
- ITK:获取类型的基本信息
- android retrofit2.0 rxjava2,Android - 网络请求之 Retrofit2 + RxJava
- Cygwin Application initialization failed: no display name and no $DISPLAY environment
- vc mysql query_我要使用mysql_query（）这个函数，在VC中需要做什么工作？
- [SQL]LeetCode180. 连续出现的数字 | Consecutive Numbers
- Yank-Note笔记软件的37个特色功能，值得下载
- 【★】生成树算法终极解析！
- Python基础—简介、变量、运算符
- 鼎捷t100架构_鼎捷T100 管理软件
- 万众电子期刊在线阅读系统(awd复现)
- echo “新密码“ | passwd --stdin 用户名
- 【洛谷月赛】洛谷三月月赛题解报告
- Hadoop之——机架感知配置
- 西北乱跑娃 -- golang设置代理直连
- Android 4.0.1 源码下载，编译和运行
- 从PaaS平台到技术中台，BoCloud博云直指“数字中国的架构师”