大数据分析笔记 - 数据分析统计方法

属性类型
探索性数据分析 (Exploratory Data Analysis)
- 可视化单个变量
- 研究多个变量
- 对比数据探索(data exploration)和数据演示(data presentation)
用于评估的统计方法
- 假设检验
- - 均值差异 (常见的假设检验)
  - 学生t检验 (Student's t-test)
  - Welch's t-test
  - Wilcoxon秩和检验
  - Ⅰ型和Ⅱ型错误
- ANOVA

属性类型

Nominal 定类变量，代表区分于其他值的标签的值，没有序次关系，比如邮编，国家，员工ID。(能进行等同或不等同操作)
Ordinal 定序变量，蕴含了顺序的属性，比如学科成绩，地震等级等。(能进行等同或不等同，比较大小的操作)
Interval 定距变量，两个值之间的间距是有意义的，如日期，经纬度。(能进行等同或不等同，比较大小和加减的操作)
Ratio 定比变量，两个值之间的差别和比率是有意义的，既有测量单位也有绝对零点，比如年龄，开尔文温度，长度，宽度。(能进行等同或不等同，比较大小和加减乘除的操作)

探索性数据分析 (Exploratory Data Analysis)

检测数据中的模式和异常

通过可视化探索性数据分析
可视化提供简洁 (succinct)，整体 (holistic) 的视图
可视化是初始数据探索中的重要方面

下图的四个数据集(安斯库姆四重奏 - Anscombe’s quartet)拥有同样的均值和方差，在可视化之前我们是不知道数据的分布的。

还能在可视化中检测到脏数据(Dirty Data):

查找异常 (anomalies)，使用领域知识进行验证。
适当清理数据(clean the data)。

可视化单个变量

点图和条形图可以从离散变量中绘制带标签的连续值。直方图和对数密度图也可以用于可视化单个变量。如果数据有倾斜，查看数据的对数(如果它们全都是正值) 可以帮助发现在常规的非对数图中可能会被忽视的数据特征。
在准备数据时应该留意任何脏数据的迹象。检查数据是单峰或多峰可以了解在整体人口中有多少种不同行为模式的人群。

研究多个变量

散点图可以用于寻找多个变量之间的关系。当检查一个散点图时，需要密切关注变量之间可能的关系，如果变量之间的函数关系比较明显，数据就可能被描画成一条直线，一条抛物线或者一条指数曲线。如果散点图看起来没有什么特征，那么变量间可能只存在弱关联了。
点图和条形图也可以可视化多个变量。
箱线图(box-and-whisker plot)。

适合用于大型数据集的蜂巢图(hexbinplot)

散点图矩阵(scatterplot matrix)。

对比数据探索(data exploration)和数据演示(data presentation)

数据科学家希望能看到数据细节，因为这样能够帮助了解数据的构成和数据间的关系。而利益相关者则更喜欢通过简单和清晰的图片来获取数据传达的信息而非数据本身。
比如数据科学家偏爱密度图而利益相关者更容易理解直方图。

用于评估的统计方法

假设检验

设立一个断言(assertion)并将其测试于数据中。
在进行假设检验时，通常假设两个样本之间没有统计学上的显著差异。这是测试或者科学实验时的默认假设，统计学家称之为 原假设(null hypothesis - H0)。
备择假设 (alternative pypothesis - Ha) 则认为两个样本之间通常存在差异。
以下是例子：

在验证之前形成假设，它可以定义期望。

明确说明原假设和备择假设。
要么拒绝零假设以支持替代方案，要么不拒绝零假设。

均值差异 (常见的假设检验)

用来决定两个群体是否彼此不同。
根据采样数据比较其均值。
基本的校验方法是比较两个群体对应的抽样均值X1和X2。如果X1和X2的值大致相等，则X1和X2的分布基本重叠，原假设成立。如果抽样均值之间有很大的差异，则表明应该否定原假设。

学生t检验 (Student’s t-test)

学生t检验假设两个群体的分布具有相等但未知的方差。并且假设每个群体都是正态分布的。此时，T (t-statistic)遵循自由度 (degree of freedom，df) 为 (n1 + n2 - 2)的 t 分布。T距离零越远，以至于不可能观测到这样一个T值，群体之间的差异就越大。如果T过大，则将拒绝原假设。

根据公式显示，均值的差越大，则T越大。当群体的方差越大，则T越小。

检验的显著性水平(significance level - α): 当原假设实际上为TRUE时，原假设被拒绝的可能性。
(通常α = 0.05)

对于一个小概率，比如α=0.05，寻找 T* 的取值使得 P(|T| ≥ T*) = 0.05。在抽样和根据公式计算出观测值之后，如果 |T| ≥ T*，则原假设 (μ1 = μ2)会被否定。

考虑 μ1 > μ2 和 μ1 < μ2 这两种情况的概率的情况的学生t检验被称为 双边假设检验 (two-sided hypothesis test)，并且两个t分布尾部概率之和应该等于显著性水平。(大部分情况下，0.05) 人们习惯在两个尾部之间均匀地划分显著性水平。(0.05 / 2 = 0.025)

−t 和 t 都是 t 统计的观测值。
p值 (p-value): 是P(T <= -t) 和 P(T >= t) 地总和。如果原假设为TRUE, 则p值提供了观察到 |T| >= t 的可能性。一般情况下，p 值代表的是一个抽样结果导致原假设成立的概率。
因此当p-value < 显著性水平时，原假设可以被拒绝。反之则成立。

置信度 (confidence level)是基于样本数据的总体参数的区间估计(interval estimate)。

Welch’s t-test

当不存在相等的总体方差假设时应该使用该方法。
它使用每个总体的样本方差，而不是合并的样本方差。
仍假设两个总体均值均相同。

Wilcoxon秩和检验

Wilcoxon Rank-Sum Test: 如果两个总体都非正态分布时。
Parametric Test: 假设从中抽取样本的总体样本。
Nonparametric Test: 如果不能假设(或变换)总体为正态分布时，则应使用。
使用非参数检验以检查两个总体是否均匀分布(Identically distributed)。使用次序代替数值结果，以避免对分布形状的特定假设。

如何进行检验：

对两个总体进行排序，就好像它们来自一个大的总体一样。
为至少一个群体样本的观测值的次序进行求和。
确定观测值秩和的显著性(significance of the rank-sums)。

Ⅰ型和Ⅱ型错误

Ⅰ型错误 (Type Ⅰ Errors)：是指当原假设成立时，否定了原假设。
Ⅱ型错误 (Type Ⅱ Errors)：是指当原假设不成立时，接受了原假设。

检验的功效（power of a test）是指正确地拒绝 (correctly rejecting) 原假设的概率。它可以表示为 1 - β，其中β 是 II 型错误的概率。

ANOVA

ANOVA: 方差分析 Analysis of Variance
ANOVA测试是否有任何群体的均值不同于其他群体的均值。
原假设：所有群体的均值相等。
备择假设：至少一对群体均值不相等。

计算F检验统计量(F-test statistic):
组间均值平方和 (Between-groups mean sum of squares)：可以衡量群体均值如何随总均值变化。

组内均值平方和 (Within-groups mean sum of squares)：可以量化值在群体内的分布。

F检验统计被定义为组间均值平方和与组内均值平方和的比值：被用于衡量每个组内的均值与变异数(variability)的不同。观测到的F检验统计越大，均值间的差异也就越大(非偶然因素导致)。

大数据分析笔记 (2) - 数据分析统计方法相关推荐

生物群落数据分析最常用的统计方法：回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法
原文>>>R语言生物群落数据统计分析应用 R 语言作的开源.自由.免费等特点使其广泛应用于生物群落数据统计分析.生物群落数据多样而复杂,涉及众多统计分析方法.本内容以生物群落数据分析 ...
如何做好水果店数据分析，水果店统计方法
1.比率数据能直观反应问题水果门店有几个最重要的数据指标,来客数.综合损耗率.销售额.毛利率.同比.环比.开水果店要常常看主要数据,比如平均毛利率,平均毛利率=毛利额/销售额.环比数据,跟前面的那一 ...
统计_statistics_不同的人_大样本_分析_统计方法_useful ？
统计_statistics_不同的人_大样本_分析_ 转载于:https://www.cnblogs.com/books2read/p/11313825.html
数据分析笔记-物流数据分析（一）
1.数据清洗重复值.缺失值.格式调整异常值处理(比如存在销售额为0) data = pd.read_csv('data_wuliu.csv',encoding='gbk')#导入数据 print( ...
andrew ng 机器学习笔记_所有笔记目录 | 数据分析 | 机器学习 | 深度学习等
持续更新中... 机器学习模型Python复现: 舟晓南:感知机模型python复现 - 随机梯度下降法:梯度下降法:adagrad:对偶形式舟晓南:k近邻(KNN)模型python复现 - 线性扫 ...
App渠道统计方法全面解析总有一种适合你
一.App渠道统计对于App推广运营的重要性 (理解App渠道统计重要性的老司机,请直接移步到第二部分) App服务的竞争重点已经由功能竞争转向市场和运营的竞争,而App的推广与运营离不开App渠道统 ...
大数据分析笔记 (6) - 文本分析 (Text Analysis)
大数据分析笔记 - 文本分析总览文本分析步骤挑战第一步:收集原始文本数据(Collecting Raw Text) 第二步:表示文本 (Representing Text) 第三步:词频-逆文 ...
数据分析的统计方法选择小结(变量之间的关联性分析)
数据分析的统计方法选择小结(变量之间的关联性分析) 一.两个变量之间的关联性分析 1.两个变量均为连续型变量 1)小样本并且两个变量服从双正态分布,则用Pearson相关系数做统计分析 2)大样本或两 ...
大数据分析笔记 (4.2) - 逻辑回归分析(Logistic Regression)
大数据分析笔记 - 逻辑回归分析总览应用模型 (Model Description) 诊断偏差和伪R2 (Deviance and the Pseudo-R2) 偏差和对数似然率检验(Log- ...
100天精通Python（数据分析篇）——第62天：pandas常用统计方法大全（含案例）
文章目录一.常用统计方法与案例 1. 求和(sum) 2. 求平均值(mean) 3. 求最小值(min) 4. 求最大值(max) 5. 求中位数(median) 6. 求众数(mode) 7. ...

大数据分析笔记 (2) - 数据分析统计方法