python 相关性分析_数据分析---用Python进行相关性分析(兼谈假设检验)

一、相关关系和相关系数

世上除了因果关系，还有相关关系。

有一个叫“相关系数”的指标来量化两个事物之间的相关程度。

其中相关系数用“r”表示，取值范围介于-1和1之间。

当(X,Y)正相关的时候，r=1；当(X,Y)负相关的时候，r=-1；当(X,Y)不相关的时候，r=0。

当然一般的线性相关有更严格的划分：

r|<0.3 不存在线性关系
0.3<|r|<0.5 低度线性关系
0.5<|r|<0.8 显著线性关系
|r|>0.8 高度线性关系

二、相关性和假设检验

有指标来衡量两者之间的相关程度，不代表能够去衡量相关程度。

因引入两个概念：

现在，针对我们分析的两组数据(X,Y)（两组数据被称为抽样），我们的疑问来了：

抽样的(X,Y)是否可以正确反应总体的情况呢？

这里涉及：假设检验。

具体操作如下：

零假设H0：总体的数据不呈相关性(相关系数为0)，并先认为H0正确
备选假设H1：总体的数据呈现相关性(相关系数不为0)
引入一个指标：显著性水平p，一般将其设定为0.05或者0.01
当p<0.05，拒绝原假设，备选假设正确；
当p>0.05，原假设正确。
所以，在进行相关性分析实验的之前，我们需要分两步走：
1.进行假设检验，获得p值<0.05，得到结论：总体的数据呈现相关性
2.进行相关性分析，得到r值
如果p值>0.05(或者0.01)，则实验失败，抽样数据无法反应整体情况。不管r值表现如何都是偶然事件。
只有在p值<0.05(或者0.01)的前提下，才可以参考r值，进而判断相关程度。

三、兼谈假设检

假设检验的3种类型

假设检验的套路：

四、利用Python进行相关性分析

判定两者相关的方式有两种：

图形观测法：通过绘制散点图判断两者是否存在一定相关关系
科学计算法：通过计算相关性系数r

我们用第二种

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import kstest
from scipy import stats
#读入数据
data=pd.read_csv('http://jse.amstat.org/datasets/normtemp.dat.txt',header=None,sep='s+',names=['Temperature','sex','heart'])print(data.describe())Temperature_data = data['Temperature']
u = data['Temperature'].mean()
std = data['Temperature'].std()r,p = stats.pearsonr(data.Temperature, data.heart)
print('相关系数r为 = %6.3f，p值为 = %6.3f'%(r,p))相关系数r为 =  0.254，p值为 =  0.004

得到：相关系数r=0.021，p值为=0.004

结论：总体的数据呈相关性，且相关系数为：0.021，但不是线性相关。

五、拓展

对于多维数据，需要计算两两之间的相关性。

比如是思维数据，列名分别为：A、B、C、D

就需要计算：

A：B、C、D

B：A、C、D

C：A、B、D

D：A、B、C

代码如下：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import scipy.stats as stats# 导入数据
data = pd.DataFrame(数据地址)
#或者
data=pd.read_csv(数据地址)
# 相关性计算
print(data.corr())
# 绘图
fig = pd.plotting.scatter_matrix(data,figsize=(6,6),c ='blue',marker = 'o',diagonal='',alpha = 0.8,range_padding=0.2)  # diagonal只能为'hist'/'kde'
plt.show()

假设检验

Python真香：用Python作假设检验zhuanlan.zhihu.com

python 相关性分析_数据分析---用Python进行相关性分析(兼谈假设检验)相关推荐

几组数据的相关性python_数据分析---用Python进行相关性分析(兼谈假设检验)
一.相关关系和相关系数世上除了因果关系,还有相关关系. 有一个叫"相关系数"的指标来量化两个事物之间的相关程度. 其中相关系数用"r"表示,取值范围介于-1和 ...
python倾向匹配得分_数据分析36计(九)：倾向得分匹配法(PSM)量化评估效果分析
1. 因果推断介绍如今量化策略实施的效果评估变得越来越重要,数据驱动产品和运营.业务等各方的理念越来越受到重视.如今这方面流行的方法除了实验方法AB testing外,就是因果推断中的各种观察研究方 ...
python cox回归_数据分析|回归分析（RPython）
0X01 前言变量之间关系可以分为两类: 函数关系:反映了事务之间某种确定性关系相关关系:两个变量之间存在某种依存关系,但二者并不是一一对应的:反映了事务间不完全确定关系:相关系数(r)可以衡量这 ...
python产品质量分析_Python数据分析实战之葡萄酒质量分析
1. 明确需求和目的以葡萄酒类型为标签,分为白葡萄酒和红葡萄酒.比较这两种葡萄酒的差别并选取葡萄酒的化学成分:固定酸度.挥发性酸度.柠檬酸.氯化物.游离二氧化硫.总硫度.密度.PH值.硫酸盐.酒精度 ...
python医学应用_数据分析工具鄙视链：Python、R语言是老大，Excel只能称小弟？
最新行业报告 2020数据分析.商业分析行业报告工作岗位与职能.薪资对比.热招公司等多方面详细解读帮助你一网打尽,斩获心仪Offer! 扫码回复[数据分析 0]立即领取 History语言发展史ABC ...
python电视剧口碑分析_小案例(七)：口碑分析（python）
微信公众号:机器学习养成记搜索添加微信公众号:chenchenwings <菜鸟侦探挑战数学分析>小案例,python实现第七弹案件回顾商业街口碑分析 1,顾客在网络上会发表对商品或 ...
python财务预算分析_财码Python管理会计小实验—营运管理之多维度盈利能力分析...
在上篇财码Python管理会计小实验中,我们学习了预算管理中的滚动预算vs定期预算,本篇我们继续学习营运管理中的多维度盈利能力分析. 知识点回顾多维度盈利能力分析:是指企业对一定期间内的经营成果,按 ...
多元相关性分析_数据分析的方法（三）
今天把剩下的几种数据分析的常见方法给大家介绍一下. 十.主成分分析主成分分析在数据分析中应用的不是很多,它是多元统计分析中用来分析数据的一种方法,是通过矩阵变换用一组数量更少的特征来对样本进行描述, ...
在python做对应分析_案例6：SPSS--对应分析
一.对应分析简介 1.1 为什么引入对应分析? 在进行数据分析时遇到分类型数据,并且要研究两个分类变量之间的相关关系,基于均值.方差的分析方法不能够使用,所以通常从编制两变量的交叉表入手,使用卡方检验 ...