统计功效(power)
定义 & 描述
- 别名 敏感度(sensitivity)
- 目的：反映一个检验检测出指定大小效应的能力
- 定义
- 在假设检验中， 拒绝原假设后， 接受正确的替换假设的概率
- 假设检验拒绝的漏报率：用同样的检验方法，对样本重采样/重复实验后计算检验值，统计检验值 > 0.05(显著阈值)的占比
- 假设检验的“正确通过率”，1 - 漏报率
- 不犯第二类错误的概率
- 当AB两组差异真的存在时，我们能正确判断的概率
- 计算：1−β=Φ(z−z1−α/2)+Φ(−z−z1−α/2)1 - \beta = \Phi(z - z_{1 - \alpha/2}) + \Phi(-z - z_{1 - \alpha/2})1−β=Φ(z−z1−α/2)+Φ(−z−z1−α/2)
- z=μA−μBσ×1nA+1nBz = \frac{\mu_A - \mu_B}{\sigma \times \sqrt{\frac{1}{n_A} + \frac{1}{n_B}}}z=σ×nA1+nB1μA−μB
- k=nAnBk = \frac{n_A}{n_B}k=nBnA
- Φ\PhiΦ：标准正态分布下某个XXX值对应的概率面积
- α\alphaα：第一类错误
- β\betaβ：第二类错误
- 1−β1 - \beta1−β：统计功效
- 结论
- 80%的功效是可接受的，即β≤0.2\beta \le 0.2β≤0.2
- 假设检验失败并不说明两个群组之间不存在差异，而是说：如果差异确实存在，这个差异太小，以至于无法在这个规模的样本中检测到
- 一般情况下：统计结果会同时考虑α\alphaα（置信度）和β\betaβ（功效）
- 描述
- 假设检验的两类错误
- 弃真/第一类错误：α\alphaα错误。实验本身没有效应，但我们觉得有效应
- 纳伪/第二类错误：β\betaβ错误。实验本身有效应，但是我们误以为没有
- 假设检验的两类错误
| 原假设对 | 原假设错 | |
|---|---|---|
| 接受原假设 | 1.1 接受对的（没毛病） | 1.2 接受了错的(纳伪，第二类错误，β\betaβ) |
| 拒绝原假设 | 1.3 拒绝了对的（弃真，第一类错误，α\alphaα） | 1.4 拒绝错的（没毛病） |
现实意义
- 若统计功效低
- β\betaβ值高，则纳为的可能性大
- 当AB两组差异真的存在时，我们能正确判断的概率降低，判断错误的概率上升
- 结果显示不显著，但其实真实情况是差异显著——我们错过了真实效应
- 解决方法
- 优化实验方案
- 扩大样本量
影响因素
- 检验的类型
- 样本容量
- α\alphaα水平
- 单侧双侧
- 抽样误差
适用场景
- 医学
- 生物学
- 生态学
- 人文社会科学
- ABTest
Reference
- 百度百科
- 知乎专栏：AB测试里的统计功效（Power）是个啥？
- powerandsamplesize.com
- 如何计算统计功效
统计功效(power)相关推荐
- 统计 | 统计功效 | R语言
在假设检验中,为了保证将真的判为假的概率很低,设置犯第一类错误的概率为α\alpha,通常情况下,α\alpha等于0.05或0.01.在现行的大学教科书中,根本没有提及将假的判为真的概率计算公式,下 ...
- 提升用户体验的必杀器——A/B实验统计方法解密
导读:A/B 实验是很多技术团队非常关注的内容,本文内容由滴滴出行效能平台部倾情呈现,介绍 A/B 实验所涉及的重要统计学知识. 前言 持续快速有效的A/B实验是实现业务从十到百增长.获得更好的用户体 ...
- 没有最好，只有A/B测试！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:阿泽,复旦大学,Datawhale成员 "A/B测试不一 ...
- python统计图原理_AB测试原理及样本量计算的Python实现
前言 为了对比不同策略的效果,如新策略点击率的提升是否显著,常需要进行A/B测试.但测试是有成本的,样本量小时不能判断出差异是否是由抽样误差引起,样本量太大时如果效果不好则会造成难以挽回的损失.如何科 ...
- 数据分析师 知识体系 业务篇
目录 分析框架 事件分析 漏斗分析 AARRR模型 获取用户 激发活跃 提高留存 增加收入 病毒传播 三大增长引擎 1.粘着式增长引擎 2. 付费式增长引擎 3.爆发式增长引擎 指标异常分析 问题定位 ...
- AB实验平台：为什么AB实验平台必不可少？
1.概述 1.1 为什么AB实验平台必不可少? 1.1.1 依据统计数据做决策 当面对众多选择时,我们应该怎么选才能最大化我们的收益(或者说最小化我们的开销)呢?举例来说,怎么选择最优的上班的路线才能 ...
- 数据分析36计(30)：关于 AB 实验的 1.5 万字总结
实验原理 假设检验的目标是拒绝原假设,它的核心是证伪.先假设原假设成立,然后计算原假设反面出现的概率,如果概率较大,则证明原假设不成立. 对于 A/B Test 来说, p值是在实验组和对照组没有差别 ...
- 字节ABtest平台探究笔记_设计一个AB试验
文章目录 前言 1.利用ABtest平台介绍 2. 建立一个简单的试验(以推送试验为例) 3. 编辑试验信息 4. 根据试验结果进行最终决策 前言 随着互联网跑马圈地.砸钱圈人的野蛮生长的时代的落幕, ...
- 干货 | 答编辑/审稿人问之样本量大关
Hello,大家好. 这里是壹脑云科研圈,我是大胡同学- 作为一名合格的科研狗,我们在投稿时总是千担心万祈祷,希望编辑.审稿人手下留情. 比如非常受心理人心仪的<心理学报>,投稿时的自检报 ...
- ESL第十八章 高维问题 对角LDA/最近收缩重心、RDA/对偶优化/L2带核、函数型数据/Fused Lasso/字符串核/距离矩阵、有监督PCA/生存分析/偏最小二乘/预处理、多重检验/FDR
(最后一章了,加油!) 目录 18.1 当 p p p远大于 N N N 18.2 对角线性判别分析Diagonal Linear Discriminant Analysis和最近收缩重心Neares ...
最新文章
- python读取word
- bzoj 4710 [Jsoi2011]分特产 组合数学+容斥原理
- [Treap]JZOJ 4737 金色丝线将瞬间一分为二
- python新人一月工资_python【项目】：工资管理(简易版）
- 2小时撸完代码之后，所有程序员都逃不过的一天... (强共鸣)
- java中程序执行顺序
- 作业帮：最长连续序列(头部插入)
- 牛客网 牛客小白月赛1 C.分元宵-快速幂
- 生成dump文件需要多久_php8的扩展arginfo生成工具
- Jquery常用操作select篇
- 设计模式（2）-抽象工厂模式(Abstract Factory)与生成器模式(Builder)模式
- 【.Net MF网络开发板研究-06】以太网转串口
- keil编译后MCU需要的flash和RAM容量
- PCB板材及叠层结构（转）
- 20 个让你效率更高的 CSS 代码技巧
- 开源博客wordpress，一键搭建属于自己的博客
- IDEA类文件图标变成“J”
- 爬取酷狗音乐网站，上榜单前500名的歌曲名称！
- InletexEM汉化版，希望有帮助到你
- 对一段信号用对称分量法matlab,数字信号处理