方差、标准差、协方差和Pearson相关系数及其间的关系
方差、协方差和Pearson相关系数在机器学习的理论概念中经常出现，本文主要理一下这几个概念及其相互间的关系。
（一）方差：
方差是每个样本值与全体样本值的平均数之差的平方值的平均数，公式如下：
上式中mui为样本均值。方差可以反应样本数据的离散程度，由上式可以看出，方差越大，样本离散程度也越大。机器学习中，如果某一特征值的离散程度很小，即表示该特征取值很少，可以认为样本在这个特征上基本没有差异，那这个特征对于样本区分没有什么作用，可以将这个特征去除，从而做到特征选择。
（二）标准差：
标准差即方差的开平方，不展开了，下面是公式：
（三）协方差：
协方差描述的是两个变量间的相关性，计算公式如下：
也可以用以下公式表示，两者是等价的：
cov(X, Y) = E[(X-E[X])(Y-E[Y])]
上式中E[ ]表示求期望，其中E[X]为X特征期望或均值，E[Y]为Y特征期望或均值。
对比方差和协方差的公式可以看出两者很像，但方差的结果是大于等于0的，当等于0时，说明样本的x特征取值唯一，反应的样本的x特征的离散程度；
协方差的取值则可以大于零也可以小于零，当大于零时，说明对应的两个变量x和y与其均值相比都同大于或同小于，即两个变量的变化趋势相同（正相关）；当小于零时，说明对应的两个变量x和y不同时大于或小于其均值，即两个变量的变化趋势相反（负相关）；而当均方根接近零时，说明两个变量基本没有相关性，接近相互独立。从以上描述可以看出，协方差可以衡量两个变量相关性大小，绝对值越大，说明越相关。但是，却不好比较多个变量与另外同一个变量间相关性的相对大小，因为量纲没有统一。
为了便于比较不同变量与另外同一个变量间相关性的相对大小，Pearson相关系数被提出了。
Pearson相关系数：
如上所述，Pearson相关性系数是为了比较不同变量与另外同一变量间相关性的相对大小，这里要注意的是：Pearson相关性系数衡量的是定距变量间的线性关系，可以用Pearson相关系数来进行特征特征选择。
就先到这吧，后面会更新另外两个相关系数：斯皮尔曼（spearman）相关系数和肯德尔（kendall）相关系数。
方差、标准差、协方差和Pearson相关系数及其间的关系相关推荐
- 【迁移学习(Transfer L)全面指南】方差、协方差和Pearson相关系数的关系
方差用于反应数据的离散程度,期望用于反应数据的聚合情况. 协方差用于反映两个维度之间的数据偏离期望值的相关性,若同时偏离,即为正相关,数据上现象为:(某维度偏离点-均值)*(另一维度-均值)>0 ...
- 数理统计-方差标准差协方差相关系数
Q1. 方差.标准差.协方差.有什么区别 方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数,描述样本偏离均值的平均程度或者说是样本的分散程度: 标准差是总体各单位标准值与其平均数离 ...
- 人工智能数学基础4：离差、平均差、方差、标准差、协方差、皮尔森相关系数
一.离差(Deviation) 离差即标志变动度,又称"偏差",是观测值或估计量的平均值与真实值之间的差,是反映数据分布离散程度的量度之一,或说是反映统计总体中各单位标志值差别大小 ...
- 重要的统计量（期望、方差、协方差、相关系数、矩）的概念和性质
一.期望 1.定义 在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一.它反映随机变量平均取值的大小. 离散型: 连续型 ...
- 机器学习中的度量——协方差、相关系数（Pearson 相关系数）
一.相关系数第一次理解 概念:Pearson相关系数 (Pearson CorrelationCoefficient)是用来衡量两个数据集合是否在一条线上面,它用来衡量定距变量间的线性关系.[1] 注 ...
- 标准差、方差、协方差的区别
公式: 标准差: 方差: 协方差: 意义: 方差(Variance):度量随机变量和其数学期望(即均值)之间的偏离程度.针对一维数据. 标准差:方差开根号.标准差和方差一般是用来描述一维数据的. 协方 ...
- 方差、协方差、相关系数的理解
方差和协方差机器学习中常见的两个概念,公式也几乎是随处可见,但是每见一次都像是初次见面,又去想半天各种公式.概念和意义,所以下定决心整理一下. 方差和协方差 定义 方差 度量单个随机变量的离散程度,公 ...
- 期望值、方差、协方差、相关系数，numpy 计算均值、方差、协方差，相关系数
文章目录 期望值.方差.协方差.相关系数 一.期望值 二.方差 1. 概念: 2. 示例: 三.协方差 1. 概念: 2. 示例: 四.协方差矩阵 1. 概念: 2. 示例: 五.协方差的相关系数 1 ...
- 期望、方差、协方差、相关系数理解
期望.方差.协方差.相关系数理解 一.期望 赌金分配问题: 有两个赌徒A和B,他们俩下赌金之后,约定谁先赢满5局,谁就获得全部赌金.对于有两个赌徒A和B,他们俩下赌金之后,约定谁先赢满5局,谁就获得全 ...
最新文章
- 给现有MVC项目增加Web API支持
- Spring 和 Spring Boot 之间到底有啥区别？
- 反射中Class.forName()和ClassLoader.loadClass()的区别
- 【模板】扩展中国剩余定理（EXCRT）
- Sencha Touch 搭建命令
- SpringCloud入门（一）
- 从无到有整合SpringMVC-MyBatis项目（1）：搭建JavaWeb项目
- 微信接口开发之高级篇系列【网页授权获取用户基本信息】
- [追加评论]三款SDR平台对比：HackRF，bladeRF和USRP
- Spring Boot设置匹配指定后缀*.action *.do的路径
- 一个dsp最小系统至少要有_DSP原理及应用(2812)试卷_附答案卷B2(2015城南)
- 【移动端】企业微信移动app测试实战（2）、（3）
- android gpu 视频编码,Android Mp4视频录制（OpenGL实现篇，附DEMO）
- 【学习周报】深度学习笔记第二周
- 理解单模光纤：基本概念篇
- 艾艾贴关于Spring Cloud大型互联网分布式企业微服务云架构
- 185. [USACO Oct08] 挖水井
- 读者福利！多达 2048G 各种资源免费赠送
- date+天数，算日期
- Android手机免root安装Linux+图形化