【ML学习笔记】2:机器学习中的数学基础2(琴生不等式,概率公式,统计量)
琴生不等式
下凸函数的一个良好的性质就是满足琴生不等式,因为:
它的加权形式即琴生不等式:
如果将这些权都视为概率,它们加起来为1,那么还能写成数学期望的形式:
f(E(x))<=E(f(x))
也就是说,对于下凸函数,自变量期望的函数值不大于函数值的期望。
此外,对于上凸函数,也有类似的性质,只不过不等号要反过来。
概率公式
这三个公式在概率论学过,复习一下。
条件概率
在已知B发生了的基础上,A发生的概率=A发生且B发生的概率/B发生的概率。
全概率公式
这里相当于把条件概率拆开来,下式中的各个Ai两两互斥,而且合起来构成一个完备事件。
贝叶斯公式
上面是共同发生的概率用条件概率公式反向拆分,下面是A发生的概率用全概率公式拆分,整体还是一个条件概率公式。
常见的概率分布
先打张表,用到时候再细查。
分布 | 参数 | 数学期望 | 方差 |
---|---|---|---|
两点分布 | 0<p<1 | p | p(1-p) |
二项分布 | n>=1,0<p<1 | np | np(1-p) |
泊松分布 | λ>0 | λ | λ |
均匀分布 | a<b | (a+b)/2 | (b-a)^2/12 |
指数分布 | θ>0 | θ | θ^2 |
正态分布 | μ,σ>0 | μ | σ^2 |
概率和统计的关注点
概率
基于已知条件去了解某些细节。
例如,已知有n个次品和m个正品,从中取k个,恰有r个次品的概率。
统计
已经知道总体的情况(未必知道全部,如知道是正态分布却不知道均值和方差),然后抽样以基于样本的值去估计总体(的均值和方差)。
例如,从一堆产品中取出k个,恰有r个次品,去推测产品中有多少次品。
与机器学习的关系
如在有监督学习中,根据训练集(特征1,,特征2,…,特征n,已知标签)去得到一个算法(该算法可以通过特征去预测标签的值),得到这个算法的过程就类似统计的过程(从局部估计整体)。
然后用训练出的这个算法,去对已知特征而未知标签的样本,估计其标签的值,这个过程就类似概率的过程。
在拿到训练集以后,应该先对各个特征的分布进行统计
往往能看出某些特征和某些标签关联性是比较强的,而某些特征却不然。以此就可以对特征进行一些筛选。
统计估计的是分布,机器学习得出的是模型,一个模型可能包含了许多分布。
重要统计量
这些都是描述整体性质的。
[1]期望
离散型:
连续型:
也就是概率加权下的平均值。
期望满足一些性质:
E(c)=c
E(kX)=kE(X)
E(X+Y)=E(X)+E(Y)
[2]方差
也就是每一个样本值和均值的差的平方求和再除以样本数量,写成期望的形式也就是:
Var(X)=E{[X-E(X)]^2}=E(X^2)-E(X)^2
方差满足一些性质:
Var(c)=0
Var(X+c)=Var(X)
Var(kX)=k^2Var(X)
Var(X+Y)=Var(X)+Var(Y)
[3]协方差
协方差用于衡量两个随机变量的线性关系(如果两个随机变量存在非线性关系,协方差评价不出来),方差是协方差的两个变量相同时的情况。
公式中随机变量减去随机变量的期望,实际上就是一个去均值化的过程,这个过程往往是机器学习中常用的预处理的过程。
去均值化后,将这两个向量做了内积,所以协方差可以理解成数据预处理后对应的向量的几何上的内积。
协方差满足一些性质:
Cov(X,Y)=Cov(Y,X)
Cov(aX+b,cY+d)=acCov(X,Y)
Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
Cov(XY)=E(XY)-E(X)E(Y)
很多时候,去看每个特征和标签的协方差,如果接近0的话,那么说明它和标签的线性相关性不强,所以协方差可以用来评估线性相关性和用来选择特征。
[4]相关系数
协方差除以X的标准差和Y的标准差的乘积,就是相关系数:
它的几何意义是特征去均值化后的向量的夹角余弦值(高中学过模模分之数量积,也就是两个向量的内积除以两个向量模长之积)。
试想两个特征如果相关系数是1,那就相当于cos值是1,也就是两个去均值化后的向量共线;而如果相关系数是0,说明cos值是0,也就是两个去均值化后的向量垂直(完全没有线性关系)。所以相关系数是评价两个特征线性相关性的一个指标。
【ML学习笔记】2:机器学习中的数学基础2(琴生不等式,概率公式,统计量)相关推荐
- 《美团机器学习实践》学习笔记:机器学习中的模型评价指标(二)——回归模型评估
平均绝对误差(Mean Absolute Error, MAE) 也称L1范数损失,计算公式如下: 其中N为样本数,是真实值,是预测值. MAE可以很好的刻画预测值与真实值的偏差.模型使用MAE作为损 ...
- 免费教材丨第51期:数学基础课程----概率论教程、机器学习中的数学基础
小编说 过去几个月里,有不少人联系我,向我表达他们对人工智能.数据科学.对利用机器学习技术探索统计规律性,开发数据驱动的产品的热情.但是,我发现他们中有些人实际上缺少为了获取有用结果的必要的数学直觉和 ...
- 机器学习中的数学基础(一):高等数学
机器学习中的数学基础(一):高等数学 1 高数 1.1 如何理解方向导数与梯度? 1.2 泰勒公式 1.3 拉格朗日乘子法 1.3.1 理论支持 1.3.2 实例 在看西瓜书的时候有些地方的数学推导( ...
- 机器学习中的数学基础怎么学?
又到了周末了,但小编的周六并不算周末.回到本次的话题上,这次小编给大家分享机器学习中的数学基础该怎么学. 首先给出小编的态度:机器学习中涉及的数学课程比较多,要想一下子去穷尽所有课程显然也不现实,大可 ...
- ML与math:机器学习与高等数学基础概念、代码实现、案例应用之详细攻略——基础篇
ML与math:机器学习与高等数学基础概念.代码实现.案例应用之详细攻略--基础篇 目录 一.ML与高等数学 0.基础数学 1.导数.方向导数.梯度 1.1.概念简介 1.2.代码实现 2.Taylo ...
- [ML学习笔记] 回归分析(Regression Analysis)
[ML学习笔记] 回归分析(Regression Analysis) 回归分析:在一系列已知自变量与因变量之间相关关系的基础上,建立变量之间的回归方程,把回归方程作为算法模型,实现对新自变量得出因变量 ...
- 【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义
[机器学习中的数学基础]矩阵特征值.特征向量和特征值分解的几何意义 在<机器学习>西瓜书中的第十章提到了"多维缩放"(简称MDS)方法,该方法是一种经典的的降维方法.此 ...
- anaconda中安装xgboost_ML学习笔记之Anaconda中命令形式安装XGBoost(pip install)
0x00 概述 在没有安装XGBoost之前,import xgboot会出错,如下: # ModuleNotFoundError: No module named 'xgboost' 0x01 安装 ...
- 机器学习中的数学基础(2)——理解基、线性组合与向量空间
https://www.toutiao.com/a6668922466275951118/ 这是<机器学习中的数学基础>系列的第2篇. 铺垫 在介绍各种"高大上"的名词 ...
- ML之Validation:机器学习中模型验证方法的简介、代码实现、案例应用之详细攻略
ML之Validation:机器学习中模型验证方法的简介.代码实现.案例应用之详细攻略 目录 模型验证方法的简介 1.Hold-out验证 2.K-折交叉验证 3.自助重采样 模型验证方法的代码实现 ...
最新文章
- 面试:BigDecimal一定不会丢失精度吗?
- weka: naive bayes
- C++实现Schmidt施密特正交化算法(附完整源码)
- lcs文本相似度_具有LCS方法的通用文本比较工具
- Oracle C#处理时间类型的Insert
- 水文特点是什么意思_自动气象站应建在什么地方?
- python成长之路第三篇(2)_正则表达式
- 人工智能算法(一)进化算法
- 北京与洛杉矶时差16小时,飞机飞行时间是12小时40分钟。请输入从洛杉矶起飞的日期与时间,计算出到达北京的日期与时间。
- git did not exit cleanly
- 浏览器上查看微信公众号的所有历史文章
- oracle runInstaller报错SEVERE: Remote ‘AttachHome‘ on node ‘rac102‘ failed
- 飞机一般是什么操作系统?
- 菜鸟学习SpringBoot——(一)构建一个简单的单体Springboot项目
- 认真对待每一道算法题 之 找明星问题 - 淘宇瀚
- 2022新超级蜘蛛池站群优化网站系统源码
- 谁是中国的制造业超级城市?中国城市制造业辐射力排名:深圳、苏州、东莞、上海、宁波位居前五 | 美通社头条...
- Visual C++运行库命令行安装禁止安装完重启(以及帮助查看方式)
- 2007年10月13日调试路由器小记
- 有关软件测试的精品课程网站
热门文章
- Android运行报错:Error: Static interface methods are only supported starting with Android N
- Volatility 工具分析
- led大屏按实际尺寸设计画面_新手必知LED显示屏尺寸规格及计算方法
- VS Code 下载、下载慢、更新(适用于压缩包下载)
- led动态显示 c语言,单片机LED点阵的横向移动(动态显示)
- @Cacheable(sync=true) only allows a single cache on
- 3.2.CPU中的实模式
- 考研英语阅读理解技巧总结
- 【UI设计No9】VI
- 一次因为游戏程序员猝死引发的思考