<此部分理论内容结合统计学教材学习>

列联分析

1. 收集样本数据产生二维或多维交叉列联表；
2. 对两个分类变量的相关性进行检验（假设检验）

pandas.crosstab(index,columns,margins,normalize)

- margins默认为False不带合计数据
- normalize=True频率列联表

salary_reform.scv

结果为列联表

补充的内容

列联表的期望分布

根据比例求出的各个变量的期望值 $f_{e}$

$f_{e}=\frac{RT}{n}\cdot\frac{CT}{n}\cdot n=\frac{RT\cdot CT}{n}$

RT为给定单元所在行的合计，CT为给定单元所在列的合计，n为样本量

卡方检验

$\chi ^{2} = \sum_{i=1}^{r}\sum_{j=1}^{c}(f_{0}-f_{e})^{2}/f_{e}$

- 当样本量较大时，上述统计量服从自由度为(r-1)(c-1)的卡方分布

- 用于衡量实际值与理论值的差异程度（有差异表示自变量对因变量有影响）

- 返回值：统计量，p值，自由度
- p值：可以理解为落在极端值上的概率
- 计算方法：已知统计量的值，求对应卡方分布的概率，过大则拒绝原假设（独立）

课堂练习一

作列联表

期望值分析

卡方检验

结果分析：p值较小，说明race对于工资水平的影响不显著

方差分析

比较多个总体的均值是否相等；
研究一个或多个分类型自变量与一个数值型因变量的关系；

假设：
（1）每个总体都应服从正态分布（如何检验样本是否服从正态分布？）；
（2）各个总体的方差必须相同；
（3）观测值是独立的

单因素方差分析

方差齐性检验levene

H0: $\mu _{1} = \mu _{2} = ... = \mu _{n}$ , H1: $\mu _{1},\mu _{2},...,\mu _{n}$ 不全相等（自变量对因变量有显著影响）

构建统计量F检验
SST：总平方和；SSA：组间平方和；SSE：组内平方和
$MSA = \frac{SSA}{k-1}$ ； $MSE = \frac{SSE}{n-k}$
$F = \frac{MSA}{MSE} \sim F(k-1,n-k)$

若原假设成立，则表明没有系统误差，组间方差MSA与组内方差MSE的比值不会太大，F>Fa，拒绝原假设

方差来源分析及检验过程anova_lm()

运算符	说明
+	将运算符左右两边的数据都纳入生成的数据集中
-	将运算符左边的纳入，右边的移除
:	计算运算符两边的交集（交互效应），生成一列数据
*	a+b+a:b形式的简写

关系强度的测量

$R^{2} = \frac{SSA}{SST}$
组间误差占总误差比例越高，相关度越高

多重比较

通过对总体均值之间的两两比较来检验哪些均值之间存在差异

LSD检验

已知总体方差的联合估计量 $s_{p}^{2} =\frac{(n_{1}-1)s_{1}^{2}+ (n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}$

组内方差 $MSE = \frac{\sum_{i=1}^{k}\sum_{j=1}^{n_{i}}(x_{ij}-\bar{x_{i}})}{n-k}$

k = 2时， $MSE = s_{p}^{2}$

构造统计量： $t = \frac{(\bar{x_{1}}-\bar{x_{2}})-(\mu _{1}-\mu _{2})}{s_{p}\sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}}\sim t(n-k)$

$LSD = t_{\frac{\alpha }{2}}\sqrt{MSE(\frac{1}{n_{i}}+\frac{1}{n_{j}})}$

若 $| \bar{x_{i}}-\bar{x_{j}}| > LSD$ ，认为差异是显著的，拒绝原假设。

HSD检验

基于学生化极差的成对比较。

计算HSD统计量，如果两组均数的差异大于该极差，认为差异是显著的，拒绝原假设。

HSD检验较LSD检验更保守，更不易发现显著差异，一般用于样本容量相同的组之间的均值比较

多因素方差分析

不存在交互效应的多因素方差分析

tv.csv

结果解释：“品牌”的p值过小，拒绝“品牌”的原假设，可认为品牌对销售量有显著影响。

存在交互效应的多因素方差分析

traffic.csv

结果解释：路段对通行时间有显著影响；时段对通行时间有显著影响；没有证据表明路段和时段的交互作用对通行时间有显著影响。

python数据分析（一）：列联分析与方差分析相关推荐

SPSS数据分析之列联分析与卡方检验、方差分析与LSD方法【操作详解】
文章目录 1.列联分析与卡方检验 2.方差分析 1.列联分析与卡方检验 (1)依次打开选项卡中的<分析>,<描述统计>,<交叉表> (2)然后依次选择列联表的行与列 ...
数理统计笔记7：分类数据分析-拟合优度检验和列联分析
引言数理统计笔记的第7篇介绍了分类数据分析的方法,包括拟合优度检验和列联分析,给出了两者的卡方检验量的表达式,并且用例子进行了说明,最后谈了列联分析需要注意的问题. 引言什么是分类型数据拟合优度 ...
【Python数据分析】文本情感分析——电影评论分析（二）
接上一篇<[Python数据分析]文本情感分析--电影评论分析(一)>. 目录文本向量化词袋模型 TF-IDF 建立模型构建训练集与测试集特征选择方差分析逻辑回归朴素贝叶斯 ...
python数据分析实战之用户分析及RFM模型分析
理论基础知识可以看我之前的博客: 1.python之Numpy知识点详细总结 2.python最最最重要的数据分析工具之pandas 3.pandas之表连接与高级查询也可以进入我的专栏:欢迎订阅哦 ...
【Python数据分析】文本情感分析——电影评论分析（一）
情感分析是文本分析的一种,它能够从一段文本描述中理解文本的感情色彩,是褒义.贬义还是中性.常见的情感分析的使用场景就是客户对商品或服务的评价.反馈,传统模式下的人工审核,不仅消耗大量人力,而且效率 ...
【Python基础】Python数据分析实战之分布分析
◆ ◆ ◆ ◆ ◆ 前言分布分析法,一般是根据分析目的,将数据进行分组,研究各组别分布规律的一种分析方法.数据分组方式有两种:等距或不等距分组. 分布分析在实际的数据分析实践中应用非常广泛,常见的 ...
python数据分析案例-利用生存分析Kaplan-Meier法与COX比例风险回归模型进行客户流失分析与剩余价值预测
目录 1. 概述 1.1 背景 1.2 目的 1.3 数据说明 2. 相关概念 2.1 事件 2.2 生存时间 2.3 删失 2.4 生存概率 2.5 中位生存时间 2.6 风险概率 3. 数据处理 ...
Python数据分析练手：分析知乎大V
知乎,可以说是国内目前最大的问答类社区.与微博.贴吧等产品不同,知乎上面的内容更多是用户针对特定的问题分享知识.经验和见解.咱们编程教室就有不少读者是从知乎上了解到我们的. 那么,知乎上都有哪些&qu ...
Python数据分析项目讲解：分析世界五百强企业数据
前言哪个国家的世界五百强企业数量最多?今天带你用python来处理数据,并实现数据可视化,解决对现有数据产生的疑问. 本次代码是在 Jupyter Notebook 里面编写的先导入本次代码需要的 ...

python数据分析（一）：列联分析与方差分析

列联分析

pandas.crosstab(index,columns,margins,normalize)

列联表的期望分布

卡方检验

课堂练习一