AI基础:简易数学入门
0.导语
学习AI建议掌握的数学资料:
数学分析(微积分),线性代数,概率论,统计,应用统计,数值分析,常微分方程,偏微分方程,数值偏微分方程,运筹学,离散数学,随机过程,随机偏微分方程,抽象代数,实变函数,泛函分析,复变函数,数学建模,拓扑,微分几何,渐近分析......
可以劝退了……
其实,绝大部分AI爱好者,对数学的要求没有那么高,只需要学习高等数学、线性代数、概率论与数理统计三门课,如果时间还不够,那看下本文我整理的必须掌握的部分。看不懂公式的时候,可以查下本文,大部分能找到是什么意思。
我最近在编写AI基础系列,数学是所有的基础。可以说,数学基础是机器学习从业人员的天花板。博士的代码能力,不一定比硕士强,但数学基础,往往要比硕士扎实很多。为什么机器学习从业人员学历越高,往往工资越高,通常和掌握的基础知识正相关。有时间,一定要认真打基础!!(黄海广)
目前已经发布:
AI 基础:Python开发环境设置和小技巧
AI 基础:Python 简易入门
AI 基础:Numpy 简易入门
AI 基础:Pandas 简易入门
AI 基础:Scipy(科学计算库) 简易入门
AI基础:数据可视化简易入门(matplotlib和seaborn)
AI基础:特征工程-类别特征
AI基础:特征工程-数字特征处理
AI基础:特征工程-文本特征处理
AI基础:词嵌入基础和Word2Vec
AI基础:图解Transformer
AI基础:一文看懂BERT
后续持续更新
本文节选自我的github里的内容,基本满足要求了,如果完整资料也可以在github下载:
https://github.com/fengdu78/Data-Science-Notes
高等数学
必须掌握导数和微分的概念
导数和微分的概念
(1)
或者:
(2)
四则运算法则
设函数
,
]在点可导则:
(1)
(2)
基本导数与微分表
(1)
(常数)
(2)
(为实数)
(3)
特例:
(4)
特例:
(5)
复合函数,反函数,隐函数以及参数方程所确定的函数的微分法
(1) 反函数的运算法则:
设
在点的某邻域内单调连续,在点处可导且,则其反函数在点所对应的处可导,并且有
(2) 复合函数的运算法则:
若
在点可导,而在对应点()可导,则复合函数在点可导,且
(3) 隐函数导数
的求法一般有三种方法:
1)方程两边对
求导,要记住是的函数,则的函数是的复合函数.例如,,,等均是的复合函数.
对
求导应按复合函数连锁法则做.
2)公式法.由
知 ,其中,, 分别表示对和的偏导数
3)利用微分形式不变性
泰勒公式
设函数
在点处的某邻域内具有阶导数,则对该邻域内异于的任意点,在与之间至少存在 一个,使得: 其中 称为在点处的阶泰勒余项。
令
,则阶泰勒公式 ……(1)
其中 ,
在0与之间.(1)式称为麦克劳林公式
常用五种函数在
处的泰勒公式
(1)
或
(2)
或
(3)
或
(4)
或
(5)
或
线性代数
矩阵
矩阵:
个数排成行列的表格 称为矩阵,简记为,或者 。若,则称是阶矩阵或阶方阵。
矩阵的线性运算
1.矩阵的加法
设
是两个矩阵,则 矩阵称为矩阵与的和,记为 。
2.矩阵的数乘
设
是矩阵,是一个常数,则矩阵称为数与矩阵的数乘,记为。
3.矩阵的乘法
设
是矩阵,是矩阵,那么矩阵,其中称为的乘积,记为 。
4.
、、三者之间的关系
(1)
(2)
但
不一定成立。
(3)
,
但
不一定成立。
(4)
5.有关矩阵秩的结论
(1) 秩
=行秩=列秩;
(2)
(3)
;
(4)
(5) 初等变换不改变矩阵的秩
(6) 特别若
则:
(7) 若
存在 若存在
若
若。
(8)
只有零解
向量
1.有关向量组的线性表示
(1)
线性相关至少有一个向量可以用其余向量线性表示。
(2)
线性无关,,线性相关可以由唯一线性表示。
(3)
可以由线性表示 。
2.有关向量组的线性相关性
(1)部分相关,整体相关;整体无关,部分无关.
(2) ①
个维向量 线性无关, 个维向量线性相关 。
②
个维向量线性相关。
③ 若
线性无关,则添加分量后仍线性无关;或一组向量线性相关,去掉某些分量后仍线性相关。
3.有关向量组的线性表示
(1)
线性相关至少有一个向量可以用其余向量线性表示。
(2)
线性无关,,线性相关 可以由唯一线性表示。
(3)
可以由线性表示
4.向量组的秩与矩阵的秩之间的关系
设
,则的秩与的行列向量组的线性相关性关系为:
(1) 若
,则的行向量组线性无关。
(2) 若
,则的行向量组线性相关。
(3) 若
,则的列向量组线性无关。
(4) 若
,则的列向量组线性相关。
5.
维向量空间的基变换公式及过渡矩阵
若
与是向量空间的两组基,则基变换公式为:
其中
是可逆矩阵,称为由基到基的过渡矩阵。
6.坐标变换公式
若向量
在基与基的坐标分别是 ,
即: ,则向量坐标变换公式为 或,其中是从基到基的过渡矩阵。
7.向量的内积
概率论和数理统计
1.事件的关系与运算
(1) 子事件:
,若发生,则发生。
(2) 相等事件:
,即,且 。
(3) 和事件:
(或),与中至少有一个发生。
(4) 差事件:
,发生但不发生。
(5) 积事件:
(或),与同时发生。
(6) 互斥事件(互不相容):
=。
(7) 互逆事件(对立事件):
2.运算律
(1) 交换律:
(2) 结合律:
(3) 分配律:
3.德
摩根律
4.完全事件组
两两互斥,且和事件为必然事件,即
5.概率的基本公式
(1)条件概率:
,表示发生的条件下,发生的概率。
(2)全概率公式:
(3) Bayes公式:
注:上述公式中事件
的个数可为可列个。
(4)乘法公式:
6.事件的独立性
(1)
与相互独立
(2)
,,两两独立
; ;;
(3)
,,相互独立
;
; ;
7.独立重复试验
将某试验独立重复
次,若每次实验中事件A发生的概率为,则次试验中发生次的概率为:
8.重要公式与结论
(5)条件概率
满足概率的所有性质,
例如:
(6)若
相互独立,则
(7)互斥、互逆与独立性之间的关系:
与互逆 与互斥,但反之不成立,与互斥(或互逆)且均非零概率事件与不独立.
(8)若相互独立,则
与也相互独立,其中分别表示对相应事件做任意事件运算后所得的事件,另外,概率为1(或0)的事件与任何事件相互独立。
机器学习的常见推导
逻辑回归
逻辑回归代价函数:
即:
推导过程:
考虑:
则:
所以:
注:虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样,但是这里的
与线性回归中不同,所以实际上是不一样的。另外,在运行梯度下降算法之前,进行特征缩放依旧是非常必要的。
最小二乘法
需要用到的性质:
-
-
(如果是对称阵) -
(如果是对称阵)
假设我们得到矩阵
(为了简单起见,我们假设是满秩)和向量,从而使。在这种情况下,我们将无法找到向量,由于,因此我们想要找到一个向量,使得尽可能接近 ,用欧几里德范数的平方来衡量。
使用公式
“,我们可以得到:
根据
的梯度,并利用上面推导的性质:
将最后一个表达式设置为零,然后解出
,得到了正规方程:
结语
本文节选自我的github里的内容,基本能满足要求了,如果需要完整资料可以在我的github下载:
https://github.com/fengdu78/Data-Science-Notes
备注:公众号菜单包含了整理了一本AI小抄,非常适合在通勤路上用学习。
往期精彩回顾
那些年做的学术公益-你不是一个人在战斗适合初学者入门人工智能的路线及资料下载机器学习在线手册深度学习在线手册备注:加入本站微信群或者qq群,请回复“加群”加入知识星球(4500+用户,ID:92416895),请回复“知识星球”
喜欢文章,点个在看
AI基础:简易数学入门相关推荐
- AI基础:机器学习简易入门
0.导语 Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能.它是人工智能的核心,是使计算机具有智 ...
- AI 基础:Python 简易入门
0.导语 Python是一种跨平台的计算机程序设计语言.是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的.大型项目的 ...
- AI基础:入门人工智能必看的论文【附下载链接】
0.导语 AI领域的发展会是IT中最快的.我们所看到的那些黑科技,其后面无不堆积了大量的论文.而且都是最新.最前沿的论文. 从某种调度来讲,他们所用的技术跟书籍里的内容确实不是一个时代.要想与时俱进, ...
- AI基础:入门人工智能必看的论文
0.导语 AI领域的发展会是IT中最快的.我们所看到的那些黑科技,其后面无不堆积了大量的论文.而且都是最新.最前沿的论文. 从某种调度来讲,他们所用的技术跟书籍里的内容确实不是一个时代.要想与时俱进, ...
- AI基础:数据划分、超参数调整、正则化
本文来源于吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 导语 本文讲解机器学习的策略方面,包括数据划分.超参数调整.正则化等. 我正在编写AI基础系列,目前已经发布: AI 基础:简易 ...
- AI基础:正则表达式
本文来源:https://github.com/ziishaned/learn-regex 作者:Zeeshan Ahmad 导语 正则表达式是一组由字母和符号组成的特殊文本,它可以用来从文本中找出满 ...
- AI基础:提供pdf打包下载了!(更新了25集)
0.导语 目前我在编写AI基础系列,目前已经发布: AI 基础:简易数学入门 AI 基础:Python开发环境设置和小技巧 AI 基础:Python 简易入门 AI 基础:Numpy 简易入门 AI ...
- AI基础:论文写作工具
导语 现在工业界发paper越来越普遍了,AI从业人员要不想被淘汰,得学习.工欲善其事必先利其器,今天就讲讲用到的工具. 本文作者:九老师 出处:https://zhuanlan.zhihu.com/ ...
- AI基础:经典卷积神经网络
导语 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深 ...
最新文章
- 好多Javascript日期选择器呀-7
- python for语句_Python循环语句
- mysql 经纬度距离 自定义函数_mysql 经纬度计算距离 自定义函数
- 使用Material Design的Flutter应用
- 用计算机语言拜年,鸡年大吉!22种编程语言大拜年
- 三刺激值计算公式_超实用的数控车床常用计算公式,绝对帅,赶紧收藏了!
- [转]Banner设计“点横竖撇捺”
- Linux系统中安装软件的三种方法
- 利润表模板excel_年薪60w财务总监:工作八年,这10个Excel必备财务系统,效率翻倍...
- Masscan教程和入门手册
- java解压zip和rar文件
- 关于C++ .h文件和.cpp文件的知识梳理
- Dvr的工作原理及入门分析
- bootstrap-modal 模态框显示一下又消失问题解决以及模态框的基本使用方法
- 做自媒体,不用露脸拍视频,方法都在这篇文章
- 大数据清洗与预算第三章
- 【电子书推荐】这几年看过的不错的电子书单
- java 从txt写入txt
- hiddenlayer安装
- UI-网站首页轮播图、易拉宝、发布在微信公众号的宣传海报的图片设计信息
热门文章
- DrawerLayout侧滑
- 关于“minSdkdeviceSdk”解决办法
- Using command line switches to fix Outlook 2010 not Responding
- idea 引入oracle驱动并打包_IDEA下从零开始搭建SpringBoot工程
- mysql编程的作用_数据库系统概论对学习编程的作用?
- python网络信息提取_Python网络爬虫与信息提取入门13
- python中常见的运行时错误_17个常见的Python运行时错误
- hspice2016安装教程
- 安装 | Android studio连接不上真机解决办法(电脑安装虚拟机不成功的情况下)
- 安装 | 手把手教你Android studio 3.5.2安装(安装教程)