置信度计算——T检验(配对样本t检验、AB实验置信度)
为什么计算置信度?
在推荐场景下,我们会研发一些策略,来提升业务指标,在做AB实验的时候,实验组跟base组的指标对标,并非稳定的胜利或者稳定的失败,观察7天或者14天的指标数据,会有正有负,那么怎么衡量胜利的置信度呐?这属于碰到统计学中的假设检验问题,可以使用常见的卡方检验、t检验以及正态性检验等,去检验论证某个设想,并通过统计学的方法做解释。
置信度是什么?
理论与应用
t检验,通常会应用于三种情况的检验,分别是单样本t检验、双样本t检验和配对样本t检验。
这里着重说下配对样本t检验,跟工作中的AB实验吻合。
配对样本t检验
配对样本t检验,是针对同一组样本在不同场景下,某数值型指标均值之间的差异。实际上读者也可以将该检验理解为单样本t检验,检验的是两配对样本差值的均值是否等于0,如果等于0,则认为配对样本之间的均值没有差异,否则存在差异。所以,该检验也遵循两个前提假设,即正态性分布假设和样本独立性假设。下面利用统计学中的四步法完成配对样本的t检验:
步骤一:提出原假设和备择假设
步骤二:构造t统计量
其中,xbar为配对样本差的均值,s为配对样本差的标准差。在原假设满足的情况下,t统计量服从自由度为n-1的t分布。
步骤三:计算t统计量
根据步骤二中的计算公式,可以计算得到配对样本t检验的统计量值。这里使用了AB实验两组数据的差作为t统计量。
可以选择实现单样本t检验的ttest_1samp函数,也可以直接选择实现配对样本t检验的ttest_rel函数。接下来结合这两个函数,完成可支配收入的t检验。
置信度计算代码:
#!/usr/bin/python
# -*- coding: UTF-8 -*-from scipy import statsdef load_data(input_file):value = []with open(input_file, 'r') as f:for line in f:l = line.strip()if len(l) > 0:value.append(float(l))return valuedef save_p_value():data = load_data('data.txt')print(data)result = stats.ttest_1samp(data,0)print('statistic: ' + str(result[0]))print('p-value: ' + str(result[1] / 2))print('置信度:' + str(1 - result[1] / 2))def main():save_p_value()
举个例子
需要计算置信度的数据保存于data.txt中:
0.011756813
0.007696947
-0.003020396
0.015364271
0.047068377
0.001973821
-0.004978872
0.016051776
0.030067915
-0.025374734
0.04177658
-0.013990472
运行上面的代码,p_value.py,得到如下结果:
[0.011756813, 0.007696947, -0.003020396, 0.015364271, 0.047068377, 0.001973821, -0.004978872, 0.016051776, 0.030067915, -0.025374734, 0.04177658, -0.013990472, -0.082597621]
statistic: 0.35054762661433364
p-value: 0.36600218285336517
置信度:0.6339978171466348
置信度越大越好,上面这个例子可以解释为:实验组的指标没有带来较大的提升。
参考:
1.T检验:https://cloud.tencent.com/developer/article/1429993
置信度计算——T检验(配对样本t检验、AB实验置信度)相关推荐
- t检验(独立样本t检验 配对样本t检验 非参检验 多余两组的比较 方差分析 非参检验)
文章目录 独立样本t检验 配对样本t检验 非参检验 多余两组的比较 方差分析 非参检验 独立样本t检验 library(MASS)t.test(Prob~So, data = UScrime,var. ...
- python配对t检验_置信度计算——t检验(配对样本t检验,AB实验置信度),T
为什么计算置信度? 在推荐场景下,我们会研发一些策略,来提升业务指标,在做AB实验的时候,实验组跟base组的指标对标,并非稳定的胜利或者稳定的失败,观察7天或者14天的指标数据,会有正有负,那么怎么 ...
- cc和毫升换算_毫升学生两个样本配对样本t检验不
cc和毫升换算 In Z-test, we assume we know the standard deviation of the population. What if we don't know ...
- SAS学习笔记25 t检验(单个样本t检验、配对样本t检验、两个独立样本t检验及方差不齐时的t'检验)...
根据研究设计和资料的性质有单个样本t检验.配对样本t检验.两个独立样本t检验以及在方差不齐时的t'检验 单样本t检验 单样本t检验(one-sample t-test)又称单样本均数t检验,适用于样本 ...
- 如何使用SPSS配对样本T检验,来探索测试前后数据的差异
IBM SPSS Statistics的配对样本T检验与独立样本T检验相似,都可用于对比两个组的均值差异,不同的是,配对样本T检验对比的是两组变量的平均值,计算的是单个个案在两个变量的值的差异,检验其 ...
- 独立样本与配对样本t检验
spss操作全力推荐医咖会这个医学网站,上面讲解非常齐全,下附链接:https://www.mediecogroup.com 组间均值是否存在差异,使用t检验 独立样本t检验 1.需满足条件 ①.数据 ...
- 单样本t检验、独立样本t检验、配对样本t检验_python_数据分析_7
单样本t检验:检验单个变量的均值与目标值之间是否存在差异,如果总体均值已知,样本均值与总体均值之间差异显著性检验属于单样本t检验. 金融应用: 原假设为沪深300收益率均值为0,而p值为0.27> ...
- R配对样本t检验(PAIRED T-TEST)
R配对样本t检验(PAIRED T-TEST) 目录 R配对样本t检验(PAIRED T-TEST) 假设检验 假设检验的应用 配对样本t检验
- 统计学基础(假设检验、两个总体均值之差检验,独立样本t检验,配对样本t检验)
假设检验 σ^2 已知 用z统计量 σ^2 未知 用t统计量 z=(xbar-μ)/(σ/sqrt(n)) t=(xbar-μ)/(s/sqrt(n)) H0: 一般带有等号 "=&qu ...
最新文章
- ElasticSearch5.6安装head插件
- AI产业落地风向标,2019全球智博会亮点回顾
- 小白爬虫scrapy第三篇
- 使用 Optional 摆脱 NullPointException 的折磨
- java里函数式表达式_Java8函数式编程 (一) 数据流和lambda表达式
- ACM学习历程—Hihocoder [Offer收割]编程练习赛1
- OpenCV hdr成像技术的实例(附完整代码)
- mysql中insert into select from的使用
- ​​An Image is Worth 16x16 Words,那么一个视频是什么呢?阿里达摩院用STAM给你答案!...
- docker pull下载很慢_假如服务器上没有 Docker 环境,你还能愉快的拉取容器镜像吗?...
- vivado修改block design后更新进sdk
- Subway Pursuit (二分)(交互题)
- (5)Redis主从同步原理及详细配置
- chrome插件开发入门-保姆级攻略
- 史上最全Linux面试题(2020最新版)
- web 安全-电脑端口(全部)
- colormap保存 matlab_[转载]matlab的colormap的保存
- seaborn画分组箱线图
- StarUML如何将背景变成空白
- Linux | 云盘扩容后,lsblk显示已增加,df -h显示没变化