数据科学之基石:数据科学家必须掌握的10个统计学概念
2021-01-29 12:29:00
全文共2848字,预计学习时长8分钟
图源:Google
数据科学是一个跨学科领域,其基石之一是统计学。如果没有足够的统计知识,就很难理解或解释数据。
统计学帮助解释数据。我们使用统计学方法,根据从某个总体中抽取的样本,推断出该总体的结果。此外,机器学习和统计学也有很多交叉。要成为一名数据科学家,就需要学习统计学及其概念。本文将具体解释10个基本的统计概念。
1.总体与样本
总体是一个群体中的所有元素。例如,美国的大学生是包括美国所有大学生的总体。在欧洲25岁的人是一个总体,该总体包括所有符合该描述的人。
由于我们不能收集一个总体的所有数据,因此对总体进行分析有时是不可行或不可能的,因此,可以借助样本进行分析。样本是总体的一个子集。例如,1000名美国大学生是“美国大学生”总体的一个子集。
2.正态分布
概率分布是表示事件或实验结果概率的函数。考虑数据帧中的一个特性(即列)。这个特征是一个变量,它的概率分布函数显示了可以取值的区间。
概率分布函数在预测分析或机器学习中非常有用。我们可以根据某个总体样本的概率分布函数来预测该总体。
正态(高斯)分布是一个概率分布函数,看起来像一个钟型。下图显示了典型正态分布曲线的形状。
曲线的峰值表示变量最可能采用的值。离峰值越远,取该值的概率就越小。
3.量度集中趋势
中心趋势是概率分布的中心值(或典型值)。最常用的中心趋势度量是平均数、中位数和众数。
· 平均数是一列数值的平均值。
· 中位数是按升序或降序排序时中间的值。
· 众数是最常出现的值。
4.方差与标准差
方差是值之间变化的度量。它的计算方法是求每个值和平均值的平方差,然后将这些平方差相加,最后将总和除以样本数。
标准差是衡量数值分布的一种方法,它是方差的平方根。
5. 协方差和相关性
协方差是一种定量方法,它表示两个变量的变化在多大程度上相互匹配。更具体地说,协方差以其平均值(或预期值)来比较两个变量的偏差。
下图显示了随机变量X和Y的一些值。橙色点表示这些变量的平均值。这些值的变化与变量的平均值类似。因此,X和Y之间存在正值协方差。
两个随机变量的协方差公式:
其中E是期望值,µ是平均值。
相关性是通过每个变量的标准差对协方差进行正态化。
其中σ是标准偏差。
这种正态化消除了单位,相关值始终在0和1之间。请注意,这是绝对值。如果两个变量之间存在负相关性,则相关性介于-1和0之间。如果比较三个或更多变量之间的关系,最好使用相关性,因为值的范围或单位可能会导致其假设错误。
6.中心极限定理
随机变量的分布在社会科学的许多领域都鲜为人知,因此正态分布得以广泛应用。
中心极限定理(CLT)解释了为什么正态分布可以用来证明这种极限情况。根据中心极限定理,当我们从一个分布中抽取更多样本时,无论总体分布如何,样本平均值都将趋向于正态分布。
思考这样一个案例:我们需要了解一个国家所有20岁人群的身高分布。收集这些数据几乎是不可能,也不实际的。所以,我们在全国范围内抽取了20岁的人群样本,计算样本中人群的平均身高。中心极限定理指出,当我们从人群中抽取样本越多时,样本分布将越接近正态分布。
为什么正态分布如此重要?正态分布是用均值和标准差来描述的,可以很容易地计算出来。如果知道正态分布的平均值和标准差,就可以计算出几乎所有关于它的信息。
7.P值
P值是衡量随机变量取值可能性的量。假设有一个随机变量A和x值,x的p值是A取x值时的概率,或者是取任何其他值时,有相同或更少机会被观察到的值的概率。
下图显示了A的概率分布,很容易就观察到10左右的值。随着值的增大或减小,概率降低。
有另一个随机变量B,而且想看B是否大于A。从B中获得的平均样本均值为12.5。12.5的p值位于下图中的绿色区域。绿色区域表示获得12.5或更大极值的概率(在本例中高于12.5)。
假设p值是0.11,怎么解释呢?p值为0.11意味着我们对结果有89%的把握。换言之,该结果受随机事件影响的可能性有11%。类似地,p值为0.05意味着结果受到随机事件影响的可能性为5%。
如果随机变量B的样本均值的平均值为15,这是一个更极端的值,p值将低于0.11。
8.期望值和随机变量
随机变量的期望值是该变量所有可能值的加权平均值。这里的权重是指随机变量取特定值的概率。对于离散和连续随机变量,期望值的计算是不同的。
· 离散随机变量取有限多或可数无限多的值。一年中的雨天数是一个离散的随机变量。
· 连续随机变量取不可数的无穷多个值。例如,从家到办公室的时间是一个连续的随机变量。根据你测量它的方式(分、秒、纳秒等等),它需要无数个值。
离散随机变量期望值的公式为:
连续随机变量的期望值用相同的逻辑计算,但方法不同。因为连续的随机变量可以取不可数的无穷多个值,所以我们不能谈论取特定值的变量。我们更关注其有价值的范围。
为了计算值范围的概率,使用概率密度函数(PDF)。PDF是一个函数,指定随机变量在特定范围内取值的概率。
9.条件概率
概率单纯是指事件发生的可能性,永远取0到1(包括0和1)之间的值。事件A的概率表示为p(A),并有期望结果的数量除以所有结果的数量来计算。例如,当掷骰子时,得到小于3的数字的概率是2/6。期望结果数为2(1和2);总结果数为6。
条件概率是假设与事件A有关的另一个事件已经发生时,事件A发生的可能性。
如下所示,假设有两个盒子,盒子里放着6个蓝色的球和4个黄色的球。我让你随便挑一个球。得到蓝球的概率是6/10=0,6。如果我让你从A盒中挑一个球结果会怎样?
选择蓝色球的概率明显降低。这里的条件是从A盒中取球,与之前事件(挑选一个蓝色的球)发生的概率相比,发生了明显改变。给定事件B已经发生的事件A的概率表示为p(A | B)。
10.贝叶斯定理
根据贝叶斯定理,在给定事件B已经发生的条件下,A发生的概率以及给定事件A已经发生的条件下,事件B发生的概率可以用事件A和事件B的概率来计算。
这就是所谓的普遍存在的贝叶斯统计定理。在贝叶斯统计定理中,事件或假设事件发生的概率可以作为证据发挥作用。因此,先验概率和后验概率因证据而异。
朴素贝叶斯算法是结合贝叶斯定理和一些朴素假设构造的。朴素贝叶斯算法假设特征是相互独立的,特征之间没有相关性。
当然,关于统计学还有很多东西要学。从基础知识开始,你可以稳步地深入到高级主题。
数据科学之基石:数据科学家必须掌握的10个统计学概念相关推荐
- 数据科学与大数据技术的案例_作为数据科学家解决问题的案例研究
数据科学与大数据技术的案例 There are two myths about how data scientists solve problems: one is that the problem ...
- 什么是数据科学?如何把数据变成产品?
未来属于那些知道如何把数据变成产品的企业和个人. --麦克·罗克德斯(Mike Loukides) 据哈尔•瓦里安(Hal Varian)说,统计学家是下一个性感的工作.五年前,在<什么是Web ...
- 数据科学与大数据排名思考题_排名前5位的数据科学课程
数据科学与大数据排名思考题 目录 (Table of Contents) Introduction介绍 Udemy乌迪米 Machine Learning A-Z™: Hands-On Python ...
- 数据科学与大数据技术的案例_主数据科学案例研究,招聘经理的观点
数据科学与大数据技术的案例 I've been in that situation where I got a bunch of data science case studies from diff ...
- 敏捷数据科学pdf_敏捷数据科学数据科学可以并且应该是敏捷的
敏捷数据科学pdf TL;DR; TL; DR; I have encountered a lot of resistance in the data science community agains ...
- web数据交互_通过体育运动使用定制的交互式Web应用程序数据科学探索任何数据...
web数据交互 Most good data projects start with the analyst doing something to get a feel for the data th ...
- 数据科学 python_适用于数据科学的Python vs(和)R
数据科学 python Choosing the right programming language when taking on a new project is perhaps one of t ...
- 数据科学导论_数据科学导论,数据理解和准备
数据科学导论 Data science, machine learning, data mining, advanced analytics, or however you want to name ...
- python数据科学库_Python数据科学库
python数据科学库 什么是数据科学? (What is Data Science?) We live in an information age, where the challenge is t ...
最新文章
- python nlp文本摘要_理解文本摘要并用python创建你自己的摘要器
- linux 命令 全程,linux命令及全程详解
- 基本数据类型的自动装箱
- 如何在 Linux 上检查可用磁盘空间 [终端和 GUI]
- github 建立博客
- python解决字符串替换问题
- CIKERS Shane 20190603
- shell判断文件与字符串
- 【qq视频录像机软件2013V3.0】聊天视频网络电视录像专家
- Android 添加水印View
- 快速批量移除B站粉丝,解放双手!
- python网络爬虫从入门到实践 第5章 (一)
- GitHub如何使用
- 用AR试妆打通美妆新零售,岂止台湾“玩美彩妆”一家?
- 2022/06/03密码
- 达梦数据库group by的两个替代方案
- 质量流量计读数不准的其中三点原因
- 给定一个整数,判断它能否被3,5,7整除,并输出以下信息:
- 打开IE浏览器自动跳转到Edge浏览器
- java jquery 分页插件怎样实现_jQuery实现的分页插件完整示例
热门文章
- ## **scrapy+kafka+sparkstream爬取京东Iphone12评论储存数据**
- 问:PC机上的两个dns,是首用dns的查不到再查 备用的,是么?
- jenkins实例似乎已离线
- 智源论坛报名 | 智能信息检索与挖掘报告会(9月17日)
- 5.29 相约杭州!云原生 Meetup 第二期杭州站报名开启!
- 译者招募 | 《Java编程思想》作者Bruce Eckel新作On Java 8
- 你只写了两行代码,为什么要花两天时间?
- 图灵十月书讯 ——小长假过后的程序员学习指南
- 人工智能阴影检测与去除,实现一种基于反射的阴影检测与去除方法
- 深度学习新星:GANs的基本原理、应用和走向