你真的知道什么是置信区间吗?
在商业环境中,数据人员通常会收集一些数据,比如用户在网站上花费的时间,然后计算关于这些数据的一些统计数据,比如在网站上花费的平均或中值时间,最后呈现这些总结向业务提供统计数据。然而假设检查了 500 个会话,并计算出用户在网站上平均花费 10 分钟。你确定如果收集更多的数据,这个 10 分钟的平均值不会改变吗?是否偶然目睹了一个不可代表的样本?如果等到周末也收集数据,这会不会可能有所不同。我们怎么知道我们是否有足够的数据呢?如何量化我们对其计算的平均值、中位数等的信心?
数据方差和标准差
低标准偏差表明数据点往往接近平均值。很明显,如果我们收集的数据点更接近真实的平均值,我们往往对这个平均值更有信心。直观地演示一下,将生成两组 500 个正态分布的数据点,均值为 10,但一组的标准差为 1,另一组的标准差为 3。然后使用直方图绘制它们。
我们不需要广泛的统计知识就可以得出结论,我们可以对标准差较低的数据集(蓝色直方图)与标准差较高的数据集(橙色直方图)的平均值更有信心。
数据量大小(N)
当我们有数百万用户访问我们的网站时,我们计算他们花费的平均时间,结果是 10 分钟;如果我们随机抽取几个会话,比如说 5 个会话,它们的平均值不会正好是 10 分钟。如果我们抽取了 10,000 个会话的样本,那么平均持续时间将更接近 10 分钟的实际平均值。
直观地演示这一点。从均值 = 10,标准差 = 3 的正态分布中生成 10 个样本,每个样本包含 5 个数据点。
正如预期的那样,样本均值无处不在。现在,如果使用更大的样本 50 个数据点,则均值将向真实均值收敛,如下图所示。
标准差和样本量是影响计算统计量置信度的两种因素,标准误是一种测量方法来组合这两种因素。
标准误
标准误是标准差除以样本量的平方根。
数据的方差越大,对计算统计量的置信度就越低;样本量越小,置信度就越低。在这里,我们从具有恒定均值 (10) 但不同标准差 (1 或 3) 的总体中抽取 4 个样本。样本也有不同的大小(5 或 50)。
置信区间
我们可以使用标准误差来判断均值可能在 [Mean — STD.Error, Mean + STD.Error]。然而,为什么不扩大我们的范围成为 [Mean — 2STD.Error, Mean + 2STD.Error]。对于正态分布,大约 68% 的数据落在一个标准差(这里指抽样分布的标准差,即标准误)内,大约 95% 的数据落在均值的两个标准差内。这些数字来自正态分布的形状,并表示为 Z 分数。如果检查这些分数,会发现 Z-Score 为 1 的置信度约为 68%,分数为 2(准确地说是 1.96)给出的置信度为 95%,而分数为 2.58 的置信度为 99%。
简单地说,我们有 95% 的信心认为均值落在 [Mean — 1.96STD.Error, Mean + 1.96STD.Error],并且有 99% 的信心认为均值落在更宽的范围内 [Mean — 2.58STD.Error, Mean + 2.58STD.Error]。这些范围就是我们所说的置信区间。
如果是非正态数据呢?
到目前为止,我们一直在使用来自正态分布的数据。在现实生活中,数据很少来自正态分布。该如何处理这些情况呢?中心极限定理指出,如果我们有一个均值为 μ 的数据,我们从这些数据中取出多个样本,并计算每个样本的均值,无论原始数据的形状,这个均值的抽样分布将是正态分布,其分布的均值等于 μ。因此,无论原始数据的形状如何,这里重要的分布都将是正态分布。然而,中心极限定理不适用于中位数或分位数,因为它适用于均值或总和。
你真的知道什么是置信区间吗?相关推荐
- 机器学习真的可以起作用吗?(1)
[此笔记源于台湾大学林轩田老师<机器学习基石><机器学习技法>] 机器学习真的可以起作用吗?答案是肯定的. 那为什么这个问题还要拿出来讲一讲呢? 考虑一个问题: 现在知道了5个 ...
- 【视频】什么是Bootstrap自抽样及应用R语言线性回归预测置信区间实例|数据分享
最近我们被客户要求撰写关于Bootstrap的研究报告,包括一些图形和统计输出. 自抽样统计是什么以及为什么使用它? 本文将自抽样方法与传统方法进行比较,并了解它为何有用.并在R语言软件中通过对汽车速 ...
- 置信区间-显著性-P-值
1.置信区间:误差范围(区间)在统计概率中就叫做置信区间:简单来说置信区间就是误差范围我们用中括号[a,b]表示样本估计总体平均值的误差范围的区间,由于a和b的确切数值取决于你希望自己对于" ...
- 【统计类知识】区间估计(置信区间)、假设检验(两类错误、P值)
统计推断的三大基本形式: 抽样分布 参数估计(点估计.区间估计) 假设检验(参数检验.非参数检验) 一. 置信区间 在实际中,我们通常得不到总体在某方面的真值,比如总体均值.或者说,如果我们现在要估计 ...
- 【看完这篇就够了!!!通俗易懂】置信度理解(95%的置信度、置信区间)
因为读论文时看到了这个概念,在很多实验中也算是一个评测指标了,但不是很理解.这是统计学中的概念,虽然我学过统计学,但是不记得这个概念了,重新来过吧,O(≧口≦)O 百度百科的专业术语比较难理解,我整合 ...
- 统计学基础:置信区间和p值知识
引言 小伙伴们,今天我们要来聊聊置信区间和p值这两个看起来超级相关的概念.咱们先来说说置信区间,它是一种区间估计,相当于给你的样本数据画了一个"框框",告诉你总体数据的真实值很可能 ...
- 统计学(三):置信区间; Z 检验(样本平均数的假设检验), 均值分布, 附Python实现(大牌护肤品碧欧泉背后的秘密)
引言 本篇博文开始前,请熟知如下链接中的概念:当然,如果直接开始,遇到遗忘的统计学名词再返回查找也没问题. 统计学(二):假设检验导论 (深入浅出超详解,附Python 代码):置信区间与 Z 检 ...
- Bootstrap重采样进行参数估计 - 置信区间
Bootstrap重采样进行参数估计 - 置信区间 文章目录 Bootstrap重采样进行参数估计 - 置信区间 一.Bootstrap简介 二.为什么要使用Bootstrap 三.经验Bootstr ...
- 系统架构升级要不要上微服务?历“久”弥新微服务——你真的需要升级微服务架构吗
在 <微服务架构设计模式> 一书中,作者总结了关于微服务的一些"重点",原文如下: 中国企业和开发者对微服务架构的热情让我印象深刻.但如同我给所有客户的忠告一样,我想对 ...
最新文章
- 计算机学院的运动会介绍,敢于拼搏 超越自我 --计算机学院校运动会动员大会召开...
- adb查看某个文件是否存在_动能定理是否存在某个方向的分量方程式?
- NTU 课程笔记:CV6422 goodness of fit
- [蓝桥杯][2019年第十届真题]等差数列
- mybatis_user_guide(3)XML配置
- 汇编edx_开源社区开始热议edX
- QT 在最新版mac下无法显示变量的问题处理
- MultipartFile与File之间的相互转换
- python中append,pop,extend,remove的区别
- 严重抗议:被砍了个尾巴
- GTDer为何不再拖延了?
- MybatisPlus常用条件查询器Wrapper的使用
- 计算机网络实验:常用网络命令的使用(ping、ipconfig、netstat、tracert、arp)
- Excel如何快速插入行,删除行
- 外接西数固态硬盘linux,外接固态硬盘安装教程 关于外接固态硬盘安装教
- GTX高速收发器Transceiver之发射端Transmitter(UG476)
- 基于arduino的ESP32 学习笔记(一) 基于ESP32的智能花盆
- 管式静态混合器 不锈钢管道混合器
- iPhone 手机修复屏幕划痕
- optimizeinplace
热门文章
- 2022最新超级蜘蛛池站群优化网站系统源码
- linux系统离线安装miniconda3 及创建python环境
- oracle临时表教程,在oracle存储过程中创建临时表
- ubuntu conda 更新、下载模块包权限问题 'Permission denied'
- 06	甲流疫情死亡率
- 从USB数据采集板看技术造诣
- 钉钉机器人智能回复_青岛市市南区税务局:“税博士”智能服务机器人亮相办税服务厅...
- 链路追踪-SkyWalking
- 数据分析实习代码总结【进阶】Python
- 【视频学习】李立恒 《阿里铁军销售真经》(完结)