期望、方差、协方差、相关系数的理解
目录
1、数学期望(均值)
2、方差 D(X) 或 Var(X)
3、协方差 Cov(X,Y)
4、相关系数 ρ
5、协方差矩阵
一句话概括:期望反映了平均水平,方差反映了数据波动程度,协方差反映了两个随机变量间的相关性(有量纲),相关系数反映了两个随机变量间无量纲的相关性。
1、数学期望(均值)
对随机变量及其概率的加权平均:
这里说的期望也就是均值,在统计学中大多数情况下是以样本来代替整体,因此样本的均值计算公式为:
2、方差 D(X) 或 Var(X)
用来了解实际指标与平均值之间的偏差情况,即反映了数据取值的分散程度。
若 X 取值集中,则其方差较小,反之, X 越分散其方差越大。
D(X) 满足以下性质:
当 X 与 Y 满足独立同分布(iid)时, ,此时:
这里的 就是后面要说的 协方差。
另外 标准差(均方差)的计算公式为: ,与 X 具有相同的量纲。
在样本分析中,方差的计算公式为:
注意:这里除以的是1/(n-1)。
方差计算中为什么会出现除以 n 和除以 n-1 两种情况?:
除以 n计算的是总体方差 ,除以 n-1计算的是样本方差 (也即总体方差的无偏估计)。但是现实中计算总体方差往往是不切实际的,而统计学的研究内容之一就是用样本推测总体,因此我们就常使用样本方差来代替总体情况。
为什么计算样本方差时是除以 n-1 呢?因为我们在计算样本方差前一定会计算样本均值 x (换句话说,会对样本求和),这就导致样本的 n 项如果确定了 n-1 项的话,第 n 项就一定可以确定,即自由度是 n-1,所以每项出现的概率是 1/(n-1) ,因此要除以 n-1。用线性代数的角度来说,这 n 个量不是独立的,若将 n 个量看成向量的话是线性相关的,可以由 n-1 个线性无关的向量表示。
如果除以 n 代表是在整体数据上做计算,此时所有的量的出现概率都是 1/n,因此此时的方差 的计算是除以 n。但是这种情况大多是理想情况下的计算方式,而现实中绝大部分情况都是以样本估计总体,因此我们常见的方差计算公式就是除以 n-1 了。
3、协方差 Cov(X,Y)
协方差用以描述两个变量间的相关性。协方差是一个具有量纲的量。
若X 与 Y 相互独立,则 。
4、相关系数 ρ
相关系数也用以描述两个变量间的相关性,但与协方差不同的是,相关系数是一个没有量纲的量,公式如下。
另外,称
为X、Y的标准化。则有:
相关系数的性质:
- 。 的值越大说明线性相关程度就越大, 值较大时称 X 与 Y 的线性相关度好; 时说明 X 与 Y 不存在线性关系,但可能存在其他关系,如对于服从 上的随机变量X来说,若X1=sinX,X2=cosX,虽然 ,但满足 。
- 的充要条件:存在常数a、b,使得
5、协方差矩阵
协方差矩阵用来描述多维随机变量不同维度间的协方差。
设n维随机变量 的二阶协方差为
则矩阵
称为n维随机变量 的协方差矩阵。由于 ,因此协方差矩阵也是对称矩阵,方差构成了其对角线上的元素,协方差构成了非对角线上的元素。一般地,n 维随机变量的分布是不知道的,或者太复杂,以致数学上不易处理,因此在实际应用中协方差矩阵就显得十分重要了。协方差矩阵广泛用于统计学与机器学习等领域。
期望、方差、协方差、相关系数的理解相关推荐
- 随机变量的期望 方差 协方差 相关系数的性质
期望性质:E(C)=C,C为任意常数 E(aX+bY)=aE(X)+bE(Y) E(aX+C)=aE(X)+C X,Y独立 E(XY)=E(X)E(Y) 方差:D(X)=E(X*X)-E(X)*E(X ...
- 标准差 方差 协方差 相关系数
一.统计学的基本概念 统计学里最基本的概念就是样本的均值.方差.标准差.首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述: 均值: 标准差: 方差: 均值描述的是样本集合的中间点,它告 ...
- 概率统计极简入门:通俗理解微积分/期望方差/正态分布前世今生(23修订版)
原标题:数据挖掘中所需的概率论与数理统计知识(12年首次发布,23年重编公式且反复改进) 修订背景 本文初稿发布于12年年底,十年后的22年底/23年初ChatGPT大火,在写ChatGPT通俗笔记的 ...
- 机器学习:协方差的全面理解
主成分分析最大方差解释https://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html 主成分分析最小平方误差解释 https://w ...
- python计算样本方差_Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算...
使用numpy可以做很多事情,在这篇文章中简单介绍一下如何使用numpy进行方差/标准方差/样本标准方差/协方差的计算. variance: 方差 方差(Variance)是概率论中最基础的概念之一, ...
- 一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差
一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ ...
- 利用级数求和推导泊松分布的期望方差
利用级数求和推导泊松分布的期望方差 @(概率论) 闲来无事,动手推导一个常见的泊松分布的表达式相关的数字特征: EX,DX.并通过这个过程思考级数求和的注意事项. 回顾泊松分布: 设变量X服从λ\la ...
- python方差的计算公式_Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算...
使用numpy可以做很多事情,在这篇文章中简单介绍一下如何使用numpy进行方差/标准方差/样本标准方差/协方差的计算. variance: 方差 方差(Variance)是概率论中最基础的概念之一, ...
- 协方差公式性质证明过程_论文推荐 | 刘志平:等价条件平差模型的方差-协方差分量最小二乘估计方法...
<测绘学报> 构建与学术的桥梁 拉近与权威的距离 等价条件平差模型的方差-协方差分量最小二乘估计方法 刘志平1, 朱丹彤1, 余航1, 张克非1,2 1. 中国矿业大学环境与测绘学院, 江 ...
- 二项分布的期望方差证明
二项分布的期望方差证明 P(X=k)=(nk)pkqn−k,k=0,1,2,..,n,q=1−pEX=∑k=0nk(nk)pkqn−k=∑k=1nk(nk)pkqn−k=∑k=1nkn!k!(n−k) ...
最新文章
- Linux笔记——linux下的语音合成系统
- 【PowerBi】Power Query导入Excel数据
- JAVA之获取JavaSwing复选框JCheckBox选中的值(内容)
- Hybris commerce的promotion rule里的固定折扣功能
- JAVA执行过程sql,SQL 执行过程
- 自定义链表增,删除,链表逆序
- 最新版谷歌浏览器Chrome45版本性能提升
- 你不知道的javascript_你不知道的javascript(上)
- dockerfile 创建自定义的tomcat服务
- 55)PHP,在html嵌套PHP写法
- 2018年湖南居民人均可支配收入25241元 出行餐饮成消费热点
- 加载项目失败的解决办法
- Hownet在NLP领域内是什么样的地位?
- CH340/CH341 Linux驱动编译
- pinyin4j获取汉字正确的全拼和简拼
- MySQL技术:InnoDB 存储引擎(不同版本的 Master Thread 工作方式)
- win7家庭版如何升级到专业版和旗舰版
- 【rzxt】笔者支招:电脑的散热大户显卡温度过高如何解决
- Altium Designer四层板设计教程
- Stanford iOS7 Lecture 1-3 demo