概率论基础 —— 8.数学期望、方差、协方差
我们在学习了离散型和连续型随机概率事件,以及它们的分布函数和密度概率函数之后。接下来我们要学习对概率事件进行评判的技术——期望、方差、协方差。
这些概念有什么用呢,举例来说,对于一次期末考试,如何评估同一个年级的不同班级的学生的学习状况差异,如何找出年级最优班级和最差班级呢,以及在两个班级整体状况都相差不大时,如何比较一个班级学生成绩情况比另一个班级更好呢?
如果还记得我们前面提到过的概率分布函数,那么就可以知道这一类样本的比较,其实属于对样本的分布规律的分析。
文章目录
- 期望 (Expectation)
- 方差 (Variance / Square Difference)
- 均方差(Mean Variance / Mean Square)
- 标准差(Standard Deviation)
- 关于期望、方差数学符号表示需要注意的一点
- 协方差(Covariance / Correlation Coefficient)
- 例题
- 例1
- 例2
- 常用分布的数学期望和方差
期望 (Expectation)
只要样本遵循一定的分布,比如说打靶落入靶上的落点就一定分布在靶心周围。又比如加工一批零件,比如笔记本上常见的m2螺丝,加工出来的螺丝精度一定在标准设计尺寸上轻微浮动。
对于数学期望来说,如果统计的事件样本它本身遵循一定分布规律,那么它必然有朝着某个值收敛的特征,着这就是期望。
计算数学期望的方法其实很简单,就是算概率均值,所以在一些数学统计库(程序)里,相关的函数名字可能叫mean(均值),或者expect(期望)。
它的计算方法,对于离散和连续基本是相似的,其数学表示符号是 E(X)E(X)E(X):
离散型
E(X)=∑xipiE(X) = \sum x_i p_iE(X)=∑xipi
xix_ixi,kik_iki分别表示样本值,和样本出现概率。
连续型
E(X)=∫xf(x)dxE(X) = \int x f(x) dxE(X)=∫xf(x)dx
f(x)f(x)f(x)学了之前的章节应该认识,它就是概率密度。
方差 (Variance / Square Difference)
我们用期望,计算样本通常收敛在什么值的范围,自然还需要关心样本之间的误差范围。以最开始用来举例的班级期末考试为例,学校需要知道某个年级的A,B,C,D四个班级成绩情况,如果计算期望后,发现它们都收敛在80分左右,那么就需要另外一个指标帮助判断各班级的学习情况
在期望都是80分的情况下,学生们的成绩越接近,说明班级同学的差异越少。反之,则说明班级里有学习特别好的人和特别差的人,对于成绩好的学生他们有可能有参加额外的课外补习,而成绩差的有可能放学后放羊的更多。
对于前一种情况,我们从学校的角度来看,说明该班级的负责老师,教育水平不错,管理能力也不错,学生们受到了足够且充分的教育。而后一种情况,既有可能是老师的水平不行,也有可能是班级同学间的家庭差异过大导致的异常。
那么从数学上,一眼看出两组样本在统计上的差异,通常就会用到所谓方差的概念。
Variance 的英文语义是值的样本差异,而方差则是国内根据样本计算方法给予的命名,即平方差,样本与期望之间差的平方,计算方式也大体上差不多。
离散型
D(X)=∑(xi−μ)2D(X) = \sum (x_i - \mu)^2 D(X)=∑(xi−μ)2
连续型
D(X)=∫(x−μ)2f(x)dxD(X) = \int (x - \mu)^2 f(x) dxD(X)=∫(x−μ)2f(x)dx
μ\muμ 在这里都表示期望。此外,我们有一个快速计算方差的公式:
D(X)=E(X2)−E2(X)D(X) = E(X^2) - E^2(X)D(X)=E(X2)−E2(X)
即:平方的期望减去期望的平方。
均方差(Mean Variance / Mean Square)
此外,从方差还引申出均方差的概念,也就是对方差算平均值,在随机下降算法中被应用在评判模型与观测值的误差程度。
D(Xˉ)=D(X)nD(\bar{X}) = \frac{D(X)}{n} D(Xˉ)=nD(X)
标准差(Standard Deviation)
方差的开根号形式,记得好像中学教材中用的挺多,但是对于科研和实际工作中因为其形式就是方差的开根号形式,所以反而不常用。数学符号通常用 σ\sigmaσ表示,方差的数学符号通常用 σ2\sigma^2σ2,均方差在传统的数学论文中不怎么常见,所以印象中好像没有专门的符号表示,而在AI领域的论文中通常以简写MSE(Mean Square Equation)或者(Mean Square Error)即均方差误差,形式表示。
另外补充一点,在算法、数据挖掘、AI等领域中,PDF不是指那个看文件的软件,通常指概率密度函数( Probability Density Function)。你看,没用的知识点是不是又增加了一点?
σ=D(X)=σ2\sigma = \sqrt{D(X)} = \sqrt{\sigma^2}σ=D(X)=σ2
关于期望、方差数学符号表示需要注意的一点
另外多说一点,就是在一些论文或者之前提到过的《五种重要的概率分布模型》 中,期望有时候又被写成 λ\lambdaλ, 而方差一般习惯性用 σ2\sigma ^2σ2 进行表示,因此对于标准差,就是 σ\sigmaσ 了。
苏联体系、英美体系在很多科学技术上符号的应用上很多没有得到有效的统一(这不仅仅在数学,物理学,电学等诸学科里都有所体现),或者形成个统一的世界规范。这对于做科研,比如在阅读文献的时候会造成一定的混淆。
所以,这要求我们在学习这些知识时,一定要理解公式背后的数学含义。而不能简简单单的死记公式。
协方差(Covariance / Correlation Coefficient)
方差是协方差的一种,不过协方差更多的是表示两个变量的变化趋势是否一致。也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
协方差的计算公式为:
Cov(X,Y)=(X−μx)(Y−μy)Cov(X, Y) = (X - \mu_x)(Y - \mu_y)Cov(X,Y)=(X−μx)(Y−μy)
或者
Cov(X,Y)=[X−E(X)][Y−E(Y)]Cov(X, Y) = [X - E(X)][Y- E(Y)]Cov(X,Y)=[X−E(X)][Y−E(Y)] 也就是X和Y分别与它的期望的差的积。
而从协方差中会得到引申,就是关联系数,即:
ρ=Cov(X,Y)σxσy\rho = \frac{Cov(X, Y)}{\sigma_x \sigma_y}ρ=σxσyCov(X,Y)
这里的 σ\sigmaσ 是标准差的意思,还有另外的一个表达形式:
ρ=Cov(X,Y)D(X)D(Y)\rho = \frac{Cov(X, Y)}{\sqrt{D(X)} \sqrt{D(Y)}}ρ=D(X)D(Y)Cov(X,Y)
这里都是一个意思,只是表达形式上的差异。它有几个等式,其实非常容易推导并证明,你只要把这几个符号代表的函数式代入就能得到了。
- Cov(X,Y)=Cov(Y,X)Cov(X, Y) = Cov(Y, X)Cov(X,Y)=Cov(Y,X)
- Cov(X,X)=D(X)Cov(X, X) = D(X)Cov(X,X)=D(X)
- D(X+Y)=D(X)+D(Y)+2Cov(X,Y)D(X+Y) = D(X) + D(Y) + 2Cov(X, Y)D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
- Cov(X,Y)=E(XY)−E(X)E(Y)Cov(X, Y) = E(XY) - E(X)E(Y)Cov(X,Y)=E(XY)−E(X)E(Y)
最后,来做一点题吧
例题
例1
设一电路中电流 I(A)I(A)I(A) 与电阻 R(Ω)R(\Omega)R(Ω) 是两个相互独立的随机变量,其概率密度分别为:
g(i)={2i0≤i≤10elseg(i) = \left \{ \begin{matrix} 2i & 0 \leq i \leq 1 \\ 0 & else \end{matrix} \right.g(i)={2i00≤i≤1else
h(r)={r290≤r≤30elseh(r) = \left \{ \begin{matrix} \frac{r^2}{9} & 0 \leq r \leq 3 \\ 0 & else \end{matrix} \right.h(r)={9r200≤r≤3else
试求电压V=IR的均值。
解
扯一点题外话,这类问题在电路中比较常见,比如说直流纹波。比如电路是通过交流电转直流后,经过交变直电路后,多少会存在纹波现象。此外,电路中因为电磁干扰,信号电路也会产生纹波现象。还有,电阻通电后,由于温度、电压变化,也会出现其伏安特性的变化。
这题比较简单,总的来说就是求期望值/均值。只要我们记得对于连续型随机变量,其均值/期望值是如何求解的公式,就能比较容易做出这道题了。
E(V)=E(IR)=∫ig(i)di⋅∫rh(r)drE(V) = E(IR) = \int i g(i)di \cdot \int r h(r)drE(V)=E(IR)=∫ig(i)di⋅∫rh(r)dr
带入题干给出的密度公式,和积分范围:
E(V)=23i3∣01⋅136r4∣03=(23)(94)=32VE(V) = \frac{2}{3} i^3 \bigg|_0^1 \cdot \frac{1}{36} r^4 \bigg |_0^3 = (\frac{2}{3})(\frac{9}{4}) = \frac{3}{2} VE(V)=32i3∣∣∣∣01⋅361r4∣∣∣∣03=(32)(49)=23V
例2
随机变量 XXX 的分布律如下:
X | 0 | 1 | 2 |
---|---|---|---|
P | 0.4 | 0.3 | 0.2 |
求
(1) E(X)E(X)E(X);
(2) Y=X2Y = X^2Y=X2, 求 E(Y);
(3) D(X)
解(1), 第一题很简单,直接带入离散型的期望公式
E(X)=∑xipi=0∗0.4+1∗0.3+2∗0.2=0.9E(X) = \sum x_i p_i = 0 * 0.4 + 1 * 0.3 + 2 * 0.2 = 0.9E(X)=∑xipi=0∗0.4+1∗0.3+2∗0.2=0.9
解(2),这题跟我们之前做离散型的分布律是一样的,先写出Y的分布律
X | 0 | 1 | 2 |
---|---|---|---|
Y | 0 | 1 | 4 |
P | 0.4 | 0.3 | 0.3 |
所以
E(Y)=0∗0.4+1∗0.3+4∗0.3=1.5E(Y) = 0 * 0.4 + 1 * 0.3 + 4 * 0.3 = 1.5E(Y)=0∗0.4+1∗0.3+4∗0.3=1.5
解(3),我们直接引用公式 D(X)=E(X2)−E2(X)D(X) = E(X^2) - E^2(X)D(X)=E(X2)−E2(X),所以有:
D(X)=1.5−0.92=0.69D(X) = 1.5 - 0.9^2 = 0.69D(X)=1.5−0.92=0.69
常用分布的数学期望和方差
再就是这个别人总结的常用数学期望和方差表
还有就是期望和方差的一些计算公式,如果记不住也没关系,可以直接用公式快速的推导。
另外,关于协方差涉及到一些其他知识点,我们在下一章里再见!
概率论基础 —— 8.数学期望、方差、协方差相关推荐
- 概率论 —— 相关分布以及期望方差的求法汇总
离散型 1. 两点分布(伯努利分布) 在一次试验中,事bai件A出现的概du率为P,事件A不出现的概率为q=l -p,若以X记一次试zhi验中A出现的次数,则X仅取0.I两个值. 两点分布是试验次数为 ...
- 随机变量的期望 方差 协方差 相关系数的性质
期望性质:E(C)=C,C为任意常数 E(aX+bY)=aE(X)+bE(Y) E(aX+C)=aE(X)+C X,Y独立 E(XY)=E(X)E(Y) 方差:D(X)=E(X*X)-E(X)*E(X ...
- 概率统计极简入门:通俗理解微积分/期望方差/正态分布前世今生(23修订版)
原标题:数据挖掘中所需的概率论与数理统计知识(12年首次发布,23年重编公式且反复改进) 修订背景 本文初稿发布于12年年底,十年后的22年底/23年初ChatGPT大火,在写ChatGPT通俗笔记的 ...
- 021 区间估计(对u的区间估计、对a^2的区间估计)(概率论基础结束)
本概率论视频由汤家凤教授全程讲授,在此致谢汤家凤老师 的辛勤付出!也预祝各位同学考研成功! 至此,(2017.9.18-2017.12.6)已复习汤家凤老师的数学系列课程: 1,106讲 高等数学上册 ...
- 概率论基础(7)数学期望、方差、协方差、切比雪夫不等式
概率论对于学习 NLP 方向的人,重要性不言而喻.于是我打算从概率论基础篇开始复习,也顺便巩固巩固基础. 这是基础篇的第七篇知识点总结 基础:下面前六篇的链接地址: 概率论基础(1)古典和几何概型及事 ...
- 随机变量的数字特征(数学期望,方差,协方差与相关系数)
戳这里:概率论思维导图 !!! 数学期望 离散型随机变量的数学期望 (这里要求级数绝对收敛,若不绝对收敛,则E(X)不存在) 如果有绝对收敛,则有 ,其中 连续型随机变量的数学期望 (这里要求绝对收敛 ...
- 几何分布的期望和方差公式推导_算法数学基础-统计学最基础之均值、方差、协方差、矩...
我们天天都可以接触很多随机现象,比如每天的天气不一样气温是我们最直接的感受,我们很难预测明天的精确问题,但是这些随机现象又体现出了一定的规律性.比如上海7月份平均35度左右,冬天的平均温度在5度左右. ...
- 数学期望,方差,标准差,样本方差,协方差,相关系数概念扫盲
数学期望 在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一.它反映随机变量平均取值的大小. 再举个例子理解一下数学期望: ...
- 数学期望、方差、标准差、协方差、残差、均方差、均方误差、均方根误差、均方根值对比分析及python实现
内容较多,如有错误之处请评论区留言以便更正,内容仅供参考. 文章目录 期望(Expected value) 意义 定义 离散型 连续型 期望与平均值的区别 方差(Variance) 案例 概率论方差 ...
- 几何分布的期望和方差公式推导_数学期望、方差、协方差
概论: 一维随机变量期望与方差 二维随机变量期望与方差 协方差 1.一维随机变量期望与方差: 公式: 离散型: E(X)=∑i=1->nXiPi Y=g(x) E(Y)=∑i=1->ng( ...
最新文章
- asp mysql datetime_ASP中SQL和Access数据库中时间/日期字段内容查询的方法说明
- php __tostring 与 tostring
- 数据结构与算法-概念
- php 登录安全认证,介绍几种常用的web安全认证方式
- Bootstrap清除/清理浮动
- android 简单获取实时天气数据_绘图本身很简单但是获取数据很难
- Ubuntu下pdf乱码和rar解压后无效文件编码解决方案
- 从程序员到CTO,他只做了三件事!!!
- 卸载python会删除pip安装的包吗_python 使用pip安装,卸载,升级和查看包
- 明华RD读卡器校验密码问题
- android计时器代码百度网盘下载,计时器flash_求几个简单Flash计时器,可以自己设定时间的,百度云...
- 大数据基础课第一课 Hadoop详解
- airflow 在 docker 中的安装与使用
- 网站的中英文切换--i18next
- C语言编程题:分数的加减乘除
- Nodejs-Express, Koa, Hapi三个框架应如何选择
- 关于开机自启动qbo服务的讨论
- Electron是什么以及可以做什么
- Xendesktop配置高可用DDC
- 云数据库逐渐成熟,阿里云提出“去O”小目标