在商业环境中,数据人员通常会收集一些数据,比如用户在网站上花费的时间,然后计算关于这些数据的一些统计数据,比如在网站上花费的平均或中值时间,最后呈现这些总结向业务提供统计数据。然而假设检查了 500 个会话,并计算出用户在网站上平均花费 10 分钟。你确定如果收集更多的数据,这个 10 分钟的平均值不会改变吗?是否偶然目睹了一个不可代表的样本?如果等到周末也收集数据,这会不会可能有所不同。我们怎么知道我们是否有足够的数据呢?如何量化我们对其计算的平均值、中位数等的信心?

数据方差和标准差

低标准偏差表明数据点往往接近平均值。很明显,如果我们收集的数据点更接近真实的平均值,我们往往对这个平均值更有信心。直观地演示一下,将生成两组 500 个正态分布的数据点,均值为 10,但一组的标准差为 1,另一组的标准差为 3。然后使用直方图绘制它们。

不同标准差的正态分布图

我们不需要广泛的统计知识就可以得出结论,我们可以对标准差较低的数据集(蓝色直方图)与标准差较高的数据集(橙色直方图)的平均值更有信心。

数据量大小(N)

当我们有数百万用户访问我们的网站时,我们计算他们花费的平均时间,结果是 10 分钟;如果我们随机抽取几个会话,比如说 5 个会话,它们的平均值不会正好是 10 分钟。如果我们抽取了 10,000 个会话的样本,那么平均持续时间将更接近 10 分钟的实际平均值。

直观地演示这一点。从均值 = 10,标准差 = 3 的正态分布中生成 10 个样本,每个样本包含 5 个数据点。

小样本;均值差异更大

正如预期的那样,样本均值无处不在。现在,如果使用更大的样本 50 个数据点,则均值将向真实均值收敛,如下图所示。

大样本;均值差异较小

标准差和样本量是影响计算统计量置信度的两种因素,标准误是一种测量方法来组合这两种因素。

标准误

标准误是标准差除以样本量的平方根。

数据的方差越大,对计算统计量的置信度就越低;样本量越小,置信度就越低。在这里,我们从具有恒定均值 (10) 但不同标准差 (1 或 3) 的总体中抽取 4 个样本。样本也有不同的大小(5 或 50)。

置信区间

我们可以使用标准误差来判断均值可能在 [Mean — STD.Error, Mean + STD.Error]。然而,为什么不扩大我们的范围成为 [Mean — 2STD.Error, Mean + 2STD.Error]。对于正态分布,大约 68% 的数据落在一个标准差(这里指抽样分布的标准差,即标准误)内,大约 95% 的数据落在均值的两个标准差内。这些数字来自正态分布的形状,并表示为 Z 分数。如果检查这些分数,会发现 Z-Score 为 1 的置信度约为 68%,分数为 2(准确地说是 1.96)给出的置信度为 95%,而分数为 2.58 的置信度为 99%。

简单地说,我们有 95% 的信心认为均值落在 [Mean — 1.96STD.Error, Mean + 1.96STD.Error],并且有 99% 的信心认为均值落在更宽的范围内 [Mean — 2.58STD.Error, Mean + 2.58STD.Error]。这些范围就是我们所说的置信区间。

如果是非正态数据呢?

到目前为止,我们一直在使用来自正态分布的数据。在现实生活中,数据很少来自正态分布。该如何处理这些情况呢?中心极限定理指出,如果我们有一个均值为 μ 的数据,我们从这些数据中取出多个样本,并计算每个样本的均值,无论原始数据的形状,这个均值的抽样分布将是正态分布,其分布的均值等于 μ。因此,无论原始数据的形状如何,这里重要的分布都将是正态分布。然而,中心极限定理不适用于中位数或分位数,因为它适用于均值或总和。

你真的知道什么是置信区间吗?相关推荐

  1. 机器学习真的可以起作用吗?(1)

    [此笔记源于台湾大学林轩田老师<机器学习基石><机器学习技法>] 机器学习真的可以起作用吗?答案是肯定的. 那为什么这个问题还要拿出来讲一讲呢? 考虑一个问题: 现在知道了5个 ...

  2. 【视频】什么是Bootstrap自抽样及应用R语言线性回归预测置信区间实例|数据分享

    最近我们被客户要求撰写关于Bootstrap的研究报告,包括一些图形和统计输出. 自抽样统计是什么以及为什么使用它? 本文将自抽样方法与传统方法进行比较,并了解它为何有用.并在R语言软件中通过对汽车速 ...

  3. 置信区间-显著性-P-值

    1.置信区间:误差范围(区间)在统计概率中就叫做置信区间:简单来说置信区间就是误差范围我们用中括号[a,b]表示样本估计总体平均值的误差范围的区间,由于a和b的确切数值取决于你希望自己对于" ...

  4. 【统计类知识】区间估计(置信区间)、假设检验(两类错误、P值)

    统计推断的三大基本形式: 抽样分布 参数估计(点估计.区间估计) 假设检验(参数检验.非参数检验) 一. 置信区间 在实际中,我们通常得不到总体在某方面的真值,比如总体均值.或者说,如果我们现在要估计 ...

  5. 【看完这篇就够了!!!通俗易懂】置信度理解(95%的置信度、置信区间)

    因为读论文时看到了这个概念,在很多实验中也算是一个评测指标了,但不是很理解.这是统计学中的概念,虽然我学过统计学,但是不记得这个概念了,重新来过吧,O(≧口≦)O 百度百科的专业术语比较难理解,我整合 ...

  6. 统计学基础:置信区间和p值知识

    引言 小伙伴们,今天我们要来聊聊置信区间和p值这两个看起来超级相关的概念.咱们先来说说置信区间,它是一种区间估计,相当于给你的样本数据画了一个"框框",告诉你总体数据的真实值很可能 ...

  7. 统计学(三):置信区间; Z 检验(样本平均数的假设检验), 均值分布, 附Python实现(大牌护肤品碧欧泉背后的秘密)

    引言   本篇博文开始前,请熟知如下链接中的概念:当然,如果直接开始,遇到遗忘的统计学名词再返回查找也没问题. 统计学(二):假设检验导论 (深入浅出超详解,附Python 代码):置信区间与 Z 检 ...

  8. Bootstrap重采样进行参数估计 - 置信区间

    Bootstrap重采样进行参数估计 - 置信区间 文章目录 Bootstrap重采样进行参数估计 - 置信区间 一.Bootstrap简介 二.为什么要使用Bootstrap 三.经验Bootstr ...

  9. 系统架构升级要不要上微服务?历“久”弥新微服务——你真的需要升级微服务架构吗

    在 <微服务架构设计模式> 一书中,作者总结了关于微服务的一些"重点",原文如下: 中国企业和开发者对微服务架构的热情让我印象深刻.但如同我给所有客户的忠告一样,我想对 ...

最新文章

  1. 计算机学院的运动会介绍,敢于拼搏 超越自我 --计算机学院校运动会动员大会召开...
  2. adb查看某个文件是否存在_动能定理是否存在某个方向的分量方程式?
  3. NTU 课程笔记:CV6422 goodness of fit
  4. [蓝桥杯][2019年第十届真题]等差数列
  5. mybatis_user_guide(3)XML配置
  6. 汇编edx_开源社区开始热议edX
  7. QT 在最新版mac下无法显示变量的问题处理
  8. MultipartFile与File之间的相互转换
  9. python中append,pop,extend,remove的区别
  10. 严重抗议:被砍了个尾巴
  11. GTDer为何不再拖延了?
  12. MybatisPlus常用条件查询器Wrapper的使用
  13. 计算机网络实验:常用网络命令的使用(ping、ipconfig、netstat、tracert、arp)
  14. Excel如何快速插入行,删除行
  15. 外接西数固态硬盘linux,外接固态硬盘安装教程 关于外接固态硬盘安装教
  16. GTX高速收发器Transceiver之发射端Transmitter(UG476)
  17. 基于arduino的ESP32 学习笔记(一) 基于ESP32的智能花盆
  18. 管式静态混合器 不锈钢管道混合器
  19. iPhone 手机修复屏幕划痕
  20. optimizeinplace

热门文章

  1. 2022最新超级蜘蛛池站群优化网站系统源码
  2. linux系统离线安装miniconda3 及创建python环境
  3. oracle临时表教程,在oracle存储过程中创建临时表
  4. ubuntu conda 更新、下载模块包权限问题 'Permission denied'
  5. 06 甲流疫情死亡率
  6. 从USB数据采集板看技术造诣
  7. 钉钉机器人智能回复_青岛市市南区税务局:“税博士”智能服务机器人亮相办税服务厅...
  8. 链路追踪-SkyWalking
  9. 数据分析实习代码总结【进阶】Python
  10. 【视频学习】李立恒 《阿里铁军销售真经》(完结)