卡方检验

卡方检验的statsmodels实现

配对卡方检验

卡方检验

卡方检验的主要用途

两个率或两个构成比比较的卡方检验
多个率或多个构成比比较的卡方检验
分类资料的相关分析

卡方检验的基本原理

H0 :观察频数与期望频数没有差别

其原理为考察基于H0的理论频数分布和实际频数分布间的差异大小，据此求出相应的P值

案例：所有受访家庭会按照家庭年收入被分为低收入家庭和高收入家庭两类，现希望考察不同收入级别的家庭其轿车拥有率是否相同。

基于H0成立，即观察频数和期望频数无差别，也就是两组变量（家庭收入级别与是否拥有轿车）相互不产生影响，两组变量不相关，如果检验P值很高，则接受H0；如果检验P值很低，则检验不通过，观察频数和期望频数有差别，两组变量相关。

卡方统计量

卡方统计量的计算公式：

其中A为实际频数，E为期望频数（理论频数）。

卡方统计量的理解：

当观察频数与期望频数完全一致时，卡方值为0
观察频数与期望频数越接近，两者之间的差异越小，卡方值越小
观察频数与期望频数差异越大，卡方值越大
卡方值的大小也和自由度有关

卡方检验的statsmodels实现

案例：所有受访家庭会按照家庭年收入被分为低收入家庭和高收入家庭两类，现希望考察不同收入级别的家庭其轿车拥有率是否相同。

statsmodels中首先需要建立对应的列联表对象：

Table类的方法: test_nominal_association() 无序分类行、列变量的独立性检验

import pandas as pd
import statsmodels.stats.contingency_tables as tbl
# 读取excel文件
home = pd.read_excel("home_income.xlsx")
# 考察不同收入级别的家庭其轿车拥有率是否相同
table = tbl.Table(pd.crosstab(home.Ts9,home.O1))
res = table.test_nominal_association()  # 卡方检验
print("卡方值：",res.statistic)
print("自由度：",res.df)
print("p值：",res.pvalue)  # 格式化后的p值

配对卡方检验

McNemar's检验（配对卡方检验）用于分析两个相关率的变化是否有统计学意义

案例：用A、B两种方法检查已确诊的某种疾病患者140名，A法检出91 名(65%)，B法检出77名(55%)，A、B两法一致的检出56名(40%)，问哪种方法阳性检出率更高？

分析思路：

H0 :两种方法阳性检出率无差别，即b单元格=c单元格
对同一个体，分别有两次不同的测量，并最终构成了两组数据，因此研究框架是自身配对设计
求出各对的差值，然后考察样本中差值的分布是否按照H0假设的情况对称分布
主对角线上的样本，两种检验方法的结论相同
非主对角线上的单元格才携带检验方法的差异信息
根据H0得到b、c两格的理论数均为(b+c)/2,对应的配对检验统计量，经过化简后是：

一般在 b + c < 40 时，需用确切概率法进行检验，或者进行校正

代码实现

statsmodels.stats.contingency_tables中常用的配对卡方的分析使用：

1 tbl.SquareTable 用于分析行列变量类别相同的对称结构方表（近似结果）
2 tbl.mcnemar 用于分析配对四格表（确切概率结果）

用SquareTable类分析

import numpy as np
import statsmodels.stats.contingency_tables as tbl
table = tbl.SquareTable(np.array([[56,35],[21,28]]))
print(table.summary())  # 查看汇总结果
print(table.symmetry())  # 只查看配对卡方检验的结果

用mcnemar类分析

table = tbl.mcnemar(pd.DataFrame([[56,35],[21,28]]))
table.pvalue  # 确切概率结果

相关分析的Python实现

相关分析作为比较简单的方法，在statsmodels中并未作进一步的完善，因此主要使用scipy实现。

两个连续变量，且符合双变量正态分布：Pearson相关系数

scipy.stats.pearsonr(a, b)

两个连续变量，不符合双变量正态分布：Spearman秩相关系数

scipy.stats.spearmanr(a, b)

两个有序变量：Kendall's Tau；Spearman秩相关系数

scipy.stats.kendalltau(a, b) # 肯德尔相关系数
scipy.stats.spearmanr(a, b) # 斯皮尔曼秩相关系数

import pandas as pd
from scipy import stats as ss
home = pd.read_excel("home_income.xlsx")  # 读取excel文件
# 考察年龄(s3)与总信心指数(index1)间的相关关系
# 先通过散点图，观察两个变量是否为线性关系
home.plot.scatter("s3","index1")
# 年龄分组，重新观察两个变量是否为线性关系
home.groupby("s3").index1.mean().plot()
# 返回皮尔逊相关系数和p值
ss.pearsonr(home.s3,home.index1)

Python实现卡方检验和相关性分析相关推荐

Python使用matplotlib可视化相关性分析热力图图heatmap、使用seaborn中的heatmap函数可视化相关性热力图（Correllogram）
Python使用matplotlib可视化相关性分析热力图图heatmap.使用seaborn中的heatmap函数可视化相关性热力图(Correllogram) 目录
卡方检验--离散变量相关性分析--机器学习特征选择
一.卡方检验理论这部分来自<概率论与数理统计>.先从理论角度介绍卡方检验是什么. 卡方检验起始就是一种假设检验. 假定一个总体可以分成r类,从该总体获得了样本数据集.从该样本数据集出发, ...
python黑色星期五_使用Python进行黑色星期五的相关性分析
一.数据来源:https://www.kaggle.com/mehdidag/black-fridaywww.kaggle.com 二.分析思路: 通过相关性分析,找到对应的用户特征三.数据处理 ...
用 Python 对数据进行相关性分析
在进行数据分析时,我们所用到的数据往往都不是一维的,而这些数据在分析时难度就增加了不少,因为我们需要考虑维度之间的关系.而这些维度关系的分析就需要用一些方法来进行衡量,相关性分析就是其中一种.本文就用 ...
Python特征分析- 相关性分析
Python特征分析- 相关性分析相关性分析引入库图示初判变量之间的线性相关性散点图矩阵初判多变量间关系 Pearson相关系数创建样本数据正态性检验 → pvalue >0.05 ...
Python数据特征分析－对比分析
Python数据特征分析-对比分析对比分析 1.绝对数比较 → 相减生成数据折线图比较柱状图比较柱状图堆叠图比较差值折线图比较 2.相对数比较 → 相除结构分析生成数据计算额度占比 ...
Python笔记-相关性分析（连续变量和分类变量）
概念相关性分析:两个连续变量之间的关系检验. Pearson相关系数:衡量两个变量的线性相关关系: Spearman相关系数:衡量两个变量的线性相关关系,部分非线性的也可以衡量: Kendall相关 ...
python可视化lassocv特征筛选之后的特征的相关性分析热力图
python可视化lassocv特征筛选之后的特征的相关性分析热力图目录 python可视化lassocv特征筛选之后的特征的相关性分析热力图 #lassocv模型
python 相关性分析_数据分析---用Python进行相关性分析(兼谈假设检验)
一.相关关系和相关系数世上除了因果关系,还有相关关系. 有一个叫"相关系数"的指标来量化两个事物之间的相关程度. 其中相关系数用"r"表示,取值范围介于-1和 ...

Python实现卡方检验和相关性分析

卡方检验

卡方检验的statsmodels实现

配对卡方检验

相关分析（关联性分析）概述

相关系数的计算原理

相关分析的Python实现

Python实现卡方检验和相关性分析相关推荐

最新文章

热门文章