机器学习与深度学习：微积分知识汇总
微积分是现代数学的基础，线性代数，矩阵论，概率论，信息论，最优化方法等数学课程都需要用到微积分的知识。单就机器学习和深度学习来说，更多用到的是微分。积分基本上只在概率论中被使用，概率密度函数、分布函数等概念和计算都要借助于积分来定义或计算。
几乎所有的机器学习算法在训练或者预测时都是求解最优化问题，因此需要依赖于微积分来求解函数的极值，而模型中某些函数的选取，也有数学性质上的考量。对于机器学习而言，微积分的主要作用是：
1.求解函数的极值
2.分析函数的性质
下面列出机器学习和深度学习中所需的微积分知识点，显然，不是课本里所讲的所有内容都是需要的，我们只列出所必须的！
极限：极限是高等数学和初等数学的分水岭，也是微积分这座大厦的基石，是导数、微分、积分等概念的基础。虽然在机器学习里不直接用到极限的知识，但要理解导数和积分，它是必须的。
上确界与下确界：这一对概念对工科的微积分来说是陌生的，但在机器学习中会经常用到，不要看到论文或书里的sup和inf不知道什么意思。
导数：其重要性众所周知，求函数的极值需要它，分析函数的性质需要它。典型的如梯度下降法的推导，logistic函数导数的计算。熟练地计算函数的导数是基本功。
Lipschitz连续性：这一概念在工科教材中同样没有提及，但对分析算法的性质却很有用，在GAN，深度学习算法的稳定性、泛化性能分析中都有用武之地。
导数与函数的单调性：某些算法的推导，如神经网络的激活函数，AdaBoost算法，都需要研究函数的单调性。
导数与函数的极值：这个在机器学习中处于中心地位，大部分优化问题都是连续优化问题，因此可以通过求导数为0的点而求函数的极值，以实现最小化损失函数，最大化似然函数等目标。
导数与函数的凹凸性：在凸优化，Jensen不等式的证明中都有它的应用。
泰勒公式：又一个核心知识点。在优化算法中广泛使用，从梯度下降法，牛顿法，拟牛顿法，到AdaBoost算法，梯度提升算法，XGBoost的推导都离不开它。
不定积分：积分在机器学习中使用的相对较少，主要用于概率的计算中，它是定积分的基础。
定积分：包括广义积分，被用于概率论的计算中。机器学习中很大一类算法是概率型算法，如贝叶斯分类器，概率图模型，变分推断等。这些地方都涉及到对概率密度函数进行积分。
变上限积分：分布函数是典型的变上线积分函数，同样主要用于概率计算中。
牛顿-莱布尼兹公式：在机器学习中很少直接使用，但它是微积分中最重要的公式之一，为定积分的计算提供了依据。
常微分方程：在某些论文中会使用，但一般算法用不到。
偏导数：重要性不用多说，机器学习里绝大部分函数都是多元函数，要求其极值，偏导数是绕不开的。
梯度：决定了多元函数的单调性和极值，梯度下降法的推导离不开它。几乎所有连续优化算法都需要计算函数的梯度值，且以寻找梯度为0的点作为目标。
高阶偏导数：确定函数的极值离不开它，光有梯度值还无法确定函数的极值。
链式法则：同样使用广泛，各种神经网络的反向传播算法都依赖于链式法则。
Hessian矩阵：决定了函数的极值和凹凸性，对使用工科教材的同学可能是陌生的。
多元函数的极值判别法则：虽然不直接使用，但对理解最优化方法至关重要。
多元函数的凹凸性判别法则：证明一个问题是凸优化问题是离不开它的。
Jacobian矩阵：工科教材一般没有介绍这一概念，但和Hessian矩阵一样，并不难理解，使用它可以简化多元复合函数的求导公式，在反向传播算法中广泛使用。
向量与矩阵求导：常见的一次函数，二次函数的梯度，Hessian矩阵的计算公式要烂熟于心，推导并不复杂。
泰勒公式：理解梯度下降法，牛顿法的优化算法的基石。
多重积分：主要用于概率论中，计算随机向量的积分，如正态分布。
偏微分方程：在某些理论推导中可能会使用，如变分法中的欧拉-拉格朗日方程。
转载于:https://www.cnblogs.com/julyedu/p/11543312.html
机器学习与深度学习：微积分知识汇总相关推荐
- 机器学习、深度学习面试知识点汇总
作者丨Oldpan 来源丨oldpan博客 编辑丨极市平台 导读 本文总结了一些秋招面试中会遇到的问题和一些重要的知识点,适合面试前突击和巩固基础知识. 前言 最近这段时间正临秋招,这篇文章是老潘在那 ...
- 机器学习_深度学习毕设题目汇总
机器学习深度学习毕设题目汇总目录 1 计算机视觉(CV) 1.1 OCR 1.2 边缘检测 1.3 表情情感 1.4 场景 1.5 车辆车牌 1.6 唇语 1.7 导航 1.8 点云 1.9 风格转换 ...
- 机器学习_深度学习毕设题目汇总——行人
下面是该类的一些题目: 题目 图像中的行人检测关键技术研究 基于图像的行人再识别重排序算法研究 基于显著区域特征的行人再识别技术研究 基于深度学习的行人重识别算法研究 基于生物视觉模型的行人识别研究 ...
- 我爱机器学习网深度学习类别文章汇总
机器学习领域的几种主要学习方式 解密最接近人脑的智能学习机器--深度学习及并行化实现 5 deep learning startups to follow in 2015 How to run the ...
- 机器学习_深度学习毕设题目汇总——人脸B
下面是该类的一些题目: 题目 三维人脸重建及其应用 低质量人脸图像还原方法研究 基于GAN和CNN模型的人脸画像合成方法 基于局部二值模式的人脸图像特征提取研究 基于机器视觉的人脸民族特征提取方法及其 ...
- 机器学习_深度学习毕设题目汇总——肿瘤
下面是该类的一些题目: 题目 医学肿瘤影像分类算法研究及其在肝癌上的应用 基于医学高光谱影像分析的肿瘤组织分类方法研究 基于多模态数据融合的肺部肿瘤智能分析技术研究 基于契伦科夫辐射的肿瘤在体检测与手 ...
- 机器学习_深度学习毕设题目汇总——交通
下面是该类的一些题目: 题目 交通标志检测与识别研究 交通路口异常事件检测及识别技术研究 城市道路交通信号区域均衡控制方法及应用研究 城市道路交通网络动态特征分析关键技术研究 基于卷积神经网络的交通密 ...
- 机器学习_深度学习毕设题目汇总——目标检测B
下面是该类的一些题目: 题目 典型恶劣天气条件下高铁周界入侵目标检测 图模型融合时空特征的视觉显著性目标检测算法研究 基于SAR图像的舰船目标检测方法研究 基于三维点云分析的智能汽车目标检测方法研究 ...
- 机器学习_深度学习毕设题目汇总——表情情感
下面是该类的一些题目: 题目 人脸表情图像识别关键技术的分析与研究 在线学习环境下的表情识别算法及应用研究 基于图卷积网络的方面级情感分析方法研究 基于多特征融合的人脸表情识别研究 基于子空间学习的微 ...
- 机器学习_深度学习毕设题目汇总——场景
下面是该类的一些题目: 题目 场景语义解析理论与方法研究 基于RGB-D视频序列的大尺度场景三维语义表面重建技术研究 基于图神经网络的场景理解算法研究 基于场景理解和深度学习的滞留物识别和异常行为检测 ...
最新文章
- 图像处理和图像识别中常用的OpenCV函数
- LeetCode 583. Delete Operation for Two Strings--动态规划 DP--Java，Python，C++解法
- Asp.net基础概念之 HttpModule
- 开发日记-20190601 关键词 读书笔记《鸟哥的Linux私房菜-基础学习篇》
- Anaconda:conda install packages error 详解channel 设置
- 小王利用计算机设计了一个计算程序,七年级数学上册5.3代数式的值巧求计算机里的代数式的值素材(新版)青岛版...
- 小程序如何将wx.request里的数据传出去
- 浏览器打不开python的页面_robotframework,selenium启动不了打不开浏览器的问题访问不了网页...
- maven 学习笔记（三）创建一个较复杂的 eclipse+android+maven 工程
- angularjs内置63个指令
- 机器人操作系统ROS—深度相机+激光雷达实现vSLAM建图与导航
- VSCode 摸鱼神器，确定不试一下？
- 明翰英语教学系列之雅思常见词汇与固定搭配篇V1.0（持续更新）
- 安卓逆向入门----Andriod smail 与 Java 代码
- python将pdf转图片_利用Python将pdf转为图片
- 抢菜捡漏工具（PrintScreenCatchImg）
- OPenGL笔记--创建三维图形(立方体)
- TI四芯片级联雷达评估板-校准
- 1074 链表翻转（柳神代码思路）yyds
- 计算机管理器里的WiFi不见了,电脑wifi图标不见了也连不上网