机器学习 数学基础 学习笔记 (1) 导数
1.导数概念
导数(Derivative),也叫导函数值。又名微商,是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,记作f’(x0)或df(x0)/dx。
导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。如果函数的自变量和取值都是实数的话,函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。导数的本质是通过极限的概念对函数进行局部的线性逼近。例如在运动学中,物体的位移对于时间的导数就是物体的瞬时速度。
不是所有的函数都有导数,一个函数也不一定在所有的点上都有导数。若某函数在某一点导数存在,则称其在这一点可导,否则称为不可导。然而,可导的函数一定连续;不连续的函数一定不可导。
对于可导的函数f(x),x↦f’(x)也是一个函数,称作f(x)的导函数(简称导数)。寻找已知的函数在某点的导数或其导函数的过程称为求导。实质上,求导就是一个求极限的过程,导数的四则运算法则也来源于极限的四则运算法则。反之,已知导函数也可以反过来求原来的函数,即不定积分。
微积分基本定理说明了求原函数与积分是等价的。求导和积分是一对互逆的操作。导数和极限 两者在数学上是等价的。
2.常见的导数
- y=c(常数),y’=0
- y=pow(x,a),y’=a·pow(x,a-1)
- y=pow(a,x),y’=pow(a,x)·ln(a)
- y=log(a,x),y’=1/(xlna);特别的ln(x)=1/x
- y=sin(x),y’=cos(x)
- y=cos(x),y’=-sin(x)
- y=tan(x),y’=1/(cos(x)^2)
3.导数的四则运算
- (u+v)’=u’+v’
- (u-v)’=u’-v’
- (uv)’=u’v+uv’
- (u/v)’=(u’v-uv’)/v^2
4.复合函数的运算法则
若y=f(g(x)), 则 导数y’=f’(g(x))·g’(x), 前提是g在x处可导,f在g(x)处可导
5.莱布尼兹公式
若u(x),v(x)均n阶可导,则
6.导数的性质
单调性
(1)若导数大于零,则单调递增;若导数小于零,则单调递减;导数等于零为函数驻点,不一定为极值点。需代入驻点左右两边的数值求导数正负判断单调性。
(2)若已知函数为递增函数,则导数大于等于零;若已知函数为递减函数,则导数小于等于零。
凸凹性
可导函数的凹凸性与其导数的单调性有关。如果函数的导函数在某个区间上单调递增,那么这个区间上函数是向下凹的,反之则是向上凸的。如果二阶导函数存在,也可以用它的正负性判断,如果在某个区间上恒大于零,则这个区间上函数是向下凹的,反之这个区间上函数是向上凸的。曲线的凹凸分界点称为曲线的拐点。
7.参考
https://github.com/sladesha/Reflection_Summary
机器学习 数学基础 学习笔记 (1) 导数相关推荐
- 机器学习数学基础学习笔记
机器学习数学基础学习笔记 1. 微积分 1.1 导数 一阶导数,是函数 的切线斜率 二阶导数,是切线斜率的变化速度,即曲线的弯曲程度,也称为"曲率"(curvature) 1.2 ...
- 吴恩达《机器学习》学习笔记十——神经网络相关(2)
吴恩达<机器学习>学习笔记十--神经网络相关(2) 一. 代价函数 二. 反向传播算法 三. 理解反向传播算法 四. 梯度检测 五. 随机初始化 1.全部初始化为0的问题 2.随机初始化的 ...
- 吴恩达《机器学习》学习笔记六——过拟合与正则化
吴恩达<机器学习>学习笔记六--过拟合与正则化 一. 过拟合问题 1.线性回归过拟合问题 2.逻辑回归过拟合问题 3.过拟合的解决 二. 正则化后的代价函数 1.正则化思想 2.实际使用的 ...
- 吴恩达《机器学习》学习笔记二——单变量线性回归
吴恩达<机器学习>学习笔记二--单变量线性回归 一. 模型描述 二. 代价函数 1.代价函数和目标函数的引出 2.代价函数的理解(单变量) 3.代价函数的理解(两个参数) 三. 梯度下降- ...
- 《机器学习》学习笔记(三)——线性模型
机器学习(Machine Learning)是一门多学科交叉专业,涵盖概率论知识,统计学知识以及复杂算法知识,使用计算机作为工具并致力于真实实时的模拟人类学习方式, 并将现有内容进行知识结构划分来有效 ...
- python嵩天课堂笔记_[Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周)
[Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) [Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) 目录 强化学习 定义 马尔科夫决策过程 基本元素 值函数 最优值 ...
- 机器学习入门学习笔记:(4.2)SVM的核函数和软间隔
前言 之前讲了有关基本的SVM的数学模型(机器学习入门学习笔记:(4.1)SVM算法).这次主要介绍介绍svm的核函数.软间隔等概念,并进行详细的数学推导.这里仅将自己的笔记记录下来,以便以后复习查看 ...
- 机器学习入门学习笔记:(3.2)ID3决策树程序实现
前言 之前的博客中介绍了决策树算法的原理并进行了数学推导(机器学习入门学习笔记:(3.1)决策树算法).决策树的原理相对简单,决策树算法有:ID3,C4.5,CART等算法.接下来将对ID3决策树算法 ...
- 机器学习入门学习笔记:(2.3)对数几率回归推导
理论推导 在以前的博客(机器学习入门学习笔记:(2.1)线性回归理论推导 )中推导了单元线性回归和多元线性回归的模型. 将线性回归模型简写为:y=ωTx+by = \omega^Tx+b: ...
最新文章
- SecureCRT 7 序列号
- 机器视觉:Asymmetry Problem in Computer Vision
- 机器学习笔试面试超详细总结(四)
- 《Two Dozen Short Lessons in Haskell》学习(十)- Private Definitions — the where-clause
- 音乐计算机融合课,融合信息技术的音乐课
- Easyui Datagrid的Rownumber行号显示问题
- 做游戏,学编程(C语言) 16 神奇小妖怪
- cad2016中选择全图字体怎么操作_给几十页PPT换字体,我同事居然花了半个小时?明明3秒就能搞定...
- 安卓移动办公软件_商用软件的爆发7-2016年移动办公
- python类之乌龟吃鱼示例
- 外包的水有多深?华为18k的外包测试岗能去吗?
- 计算机网络篇- 网络层
- 沃商店运营一周年凸显平台化优势
- Register slice
- Java项目:CRM客户关系管理系统(Spring+SpringMVC+MyBatis + maven)
- IDM Trial Reset下载|InternetDownloadManager无限试用工具下载
- 薛开宇caffe学习笔记的补充笔记3
- web基础知识--简易web服务器的搭建
- navicat数据库表结构对比
- python字符串放入列表_python字符串与列表