用皮尔逊相关系数检查特征间的线性相关关系

1.1 皮尔逊相关系数

1.1.1 简介

是一种度量两个变量间线性相关程度的方法。协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。为此引入皮尔逊相关系数 ρ

。

1.1.2 公式

相关理论
1. 方差
2. 协方差
3. 显著性检验
定义

参考皮尔森相关系数及原理

ρXY=Cov(X,Y)Var(X)Var(Y)−−−−−−−−−−−−√(1)

计算结果的值域为[-1,1]，其中，1 表示X和Y完全正相关，-1 表示完全负相关，0 表示无关。绝对值越大表明相关性越强.

1.1.3 例子

下面是使用scipy库的pearsonr函数的示例代码,来自干货：结合Scikit-learn介绍几种常用的特征选择方法

#!/usr/bin/python
import numpy as np
from scipy.stats import pearsonr
np.random.seed(0)
size = 300
x = np.random.normal(0, 1, size)
print("Lower noise", pearsonr(x, x + np.random.normal(0, 1, size)))
print("Higher noise", pearsonr(x, x + np.random.normal(0, 10, size)))

运行结果如下：

$ ./pearson.py
Lower noise (0.71824836862138408, 7.3240173129983507e-49)
Higher noise (0.057964292079338155, 0.31700993885324752)

返回值
参考官方文档, 返回两个值
- 第一个值是皮尔森相关系数
- 第二个是p-value
  p值<0.05表示有相关性，如果此时第一个值绝对值较大，这两个返回值一起表明有较强相关性。
  p值不是完全可靠的，但对于大于500左右的数据集可能是合理的。

用皮尔逊相关系数检查特征间的线性相关关系相关推荐

皮尔逊相关系数的java实现
皮尔逊相关系数的java实现 2014-08-06 17:01:32 分类: Java 相关系数的值介于–1与+1之间,即–1≤r≤+1.其性质如下: 当r>0时,表示两变量正相关,r< ...
实训1 分析1996~2015年人口数据特征间的关系
运行环境:pycharm-community-2019.1.2 使用库:NumPy.matplotlib.pyplot 数据(populations.npz):链接:https://pan.baidu ...
java 皮尔逊相关系数_皮尔逊相关系数的java实现
相关系数的值介于–1与+1之间,即–1≤r≤+1.其性质如下: 当r>0时,表示两变量正相关,r<0时,两变量为负相关. 当|r|=1时,表示两变量为完全线性相关,即为函数关系. 当r=0 ...
利用协方差，皮尔逊相关系数和斯皮尔曼相关系数确定变量间的关系
利用协方差,皮尔逊相关系数和斯皮尔曼相关系数确定变量间的关系 https://www.toutiao.com/i6550915552490029576/ 数据集中的变量之间可能存在复杂且未知的关系.重 ...
Python三种方法计算皮尔逊相关系数以及实现给定数据集，返回数据集中每个特征和标签的相关系数
特征预处理完之后,我们需要选择有意义的特征作为输入机器学习的算法和模型进行训练在统计学中,皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数( ...
概率论：方差、标准差、协方差、皮尔逊相关系数、线性相关
方差和标准差: 一个随机变量,的值的变化程度可以用方差计算: :其中是期望. 另外一种等价表达式: 其中为均值,N为总体例数我们举个例子: 服从均一分布,取值为0.1,0.2,0.3, ...
数据分析进阶 - 相关分析（皮尔逊相关系数）
相关分析相关分析是研究两个或两个以上处于同等地位的随机变量间的相关关系的统计分析方法.通过对不同特征或数据间的关系进行分析,发现其中关键影响及驱动因素.在实际的工作应用中,常常用于特征的发现与选择. ...
python二维散点分布图_深入理解皮尔逊相关系数amp;python代码
1.常见理解误区 (1)计算出变量A和变量B的皮尔逊相关系数为0,不代表A和B之间没有相关性,只能说明A和B之间不存在线性相关关系. 例:温度和冰淇淋销量之间的散点图像如下,可以发现大致成二次函数图像 ...
皮尔逊相关系数和余弦相似度
先看看二者定义,给定两个n维向量A,B: A=(a1,a2,-,an)A = (a_1, a_2, \ldots ,a_n)A=(a1,a2,-,an) B=(b1,b2,-,bn)B = (b ...

用皮尔逊相关系数检查特征间的线性相关关系

1.1 皮尔逊相关系数

1.1.1 简介

1.1.2 公式

1.1.3 例子

用皮尔逊相关系数检查特征间的线性相关关系相关推荐

最新文章

热门文章