知乎上有个专题叫：你对贝叶斯统计有怎样的理解？本篇尽量通俗点理解下贝叶斯统计~_~

还是沿用经典案例：

一种癌症，得了这个癌症的人被检测出为阳性的几率为90%，未得这种癌症的人被检测出阴性的几率为90%，而人群中得这种癌症的几率为1%，一个人被检测出阳性，问这个人得癌症的几率为多少？

假设 A 表示事件 “测出阳性”, B1 表示“得癌症”,B2 表示“未得癌症”，那么:

$P(A|B_{1}) = 0.9, P(A|B_{2}) = 0.1, P(B_{1}) = 0.01, P(B_{2}) = 0.99$

再来看一下联合概率：人群中检测为阳性并且得癌症的几率：

$P(B_{1},A) = P(B_{1}) \cdot P(A|B_{1}) = 0.01 \times 0.9 = 0.009$

检测为阳性但未得癌症的概率：

$P(B_{2},A) = P(B_{2}) \cdot P(A|B_{2}) = 0.99 \times 0.1 = 0.099$

下面开始贝叶斯的功力所在了：“怎样求出在检测出阳性的前提下得癌症的概率呢？”根据上面的结果，

$P(B_{1}|A)$ = $\frac{0.009}{0.099 + 0.009} \approx 0.083$

这个问题中：人群中患癌症与否的概率是先验概率，先验概率是已知的，根据观测值：是否为阳性，来判断得癌症的后验概率。

似然函数与最大似然估计：

上面公式中的 f(x|θ) 就是一种似然函数，观测到样本x 的分布是在以某个参数θ为前提下得出来的，只是这个参数是未知的，在统计学里常用的求该参数的方法就是：最大似然估计了。

假设我们有 $n$ 个样本 $x_1, x_2, x_3, ..., x_n$ , 它们每一个变量都对应一个似然函数:

$f(x_1|\theta), f(x_2|\theta), ..., f(x_n|\theta)$

把这些似然函数乘起来:

$lik(\theta) = \prod_{i=1}^{n} f(x_i|\theta)$

只要找到令这个函数最大的 θ 值，就是我们想要的参数值了。

朴素贝叶斯：

对于给出的待分类项，求出在此分类项出现的情况下各个类别出现的概率，哪个最大，就认为待分类项属于哪个类别。即在没有其它可用的信息时，选择条件概率最大的类别。朴素贝叶斯分类的定义如下：

1、设 $x=/{a_1,a_2,...,a_m/}$ 为待分类项，ai 为x的一个特征属性。

2、类别集合 $C=/{y_1,y_2,...,y_n/}$ 。

3、计算 $P(y_1|x),P(y_2|x),...,P(y_n|x)$ 。

4、去最大概率值 $P(y_k|x)=max/{P(y_1|x),P(y_2|x),...,P(y_n|x)/}$ ，则 $x /in y_k$ 。

关键一步在于如何计算第3步中的条件概率。通常采用的做法是：

1、找到一个已知分类的待分类项集合，作为训练样本集。

2、统计在各个类别下各特征属性的条件概率估计：

$P(a_1|y_1),P(a_2|y_1),...,P(a_m|y_1);P(a_1|y_2),P(a_2|y_2),...,P(a_m|y_2);...;P(a_1|y_n),P(a_2|y_n),...,P(a_m|y_n)$ 。

3、如果各个特征属性是条件独立的，即符合马尔科夫模型，则贝叶斯定理成立：

$P(y_i|x)=/frac{P(x|y_i)P(y_i)}{P(x)}$

P(x)对于所有类别都是一个常数，所以取极值就变为将分子最大化： $P(x|y_i)P(y_i)=P(a_1|y_i)P(a_2|y_i)...P(a_m|y_i)P(y_i)=P(y_i)/prod^m_{j=1}P(a_j|y_i)$

朴素贝叶斯分类的流程：

（1）准备工作阶段。主要是根据具体情况确定特征属性，并对特征属性进行划分，由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是待分类数据，输出是特征属性和训练样本。这一阶段需要人工完成的，对整个过程有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本的质量决定。

（2）分类器训练阶段。主要是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。

（3）应用阶段。使用分类器对待分类项进行分类，输入分类器和待分类项，输出待分类项与类别的映射关系。

注：当P(a|y)=0，即某个类别下某个特征项划分没有出现，这会令分类器质量大大降低。为了解决这个问题，通常对没类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。

贝叶斯估计原理及流程相关推荐

ARKit从入门到精通-ARKit工作原理及流程介绍
2017-06-15 坤小 Cocoa开发者社区转载请注明出处:http://www.jianshu.com/p/0492c7122d2f 1.1-写在前面的话 1.2-ARKit与SceneKit ...
【运筹学】单纯形法总结 ( 单纯形法原理 | 单纯形法流程 | 单纯形表 | 计算检验数 | 最优解判定 | 入基变量 | 出基变量 | 方程组同解变换 ) ★★★
文章目录一.单纯形法原理二.单纯形法流程三.单纯形法案例一 1.线性规划示例 2.转化标准形式 3.查找初始基可行解 4.初始基可行解的最优解判定 5.第一次迭代 : 入基与出基变量选择 6.第 ...
div置于页面底部_浏览器渲染页面的原理及流程
浏览器渲染页面的原理及流程浏览器将域名通过网络通信从服务器拿到html文件后,如何渲染页面呢? 1.根据html文件构建DOM树和CSSOM树.构建DOM树期间,如果遇到JS,阻塞DOM树及CSSO ...
ARKit从入门到精通（2）-ARKit工作原理及流程介绍
转载请注明出处:ARKit从入门到精通(2)-ARKit工作原理及流程介绍 1.1-写在前面的话 1.2-ARKit与SceneKit的关系 1.3-ARKit工作原理 1.3.1-ARSCNView ...
HTTPS原理与流程
Table of Contents HTTP HTTPS 实现原理工作流程对称加密与非对称加密 CA 颁发机构总结 HTTP HTTP(Hypertext Transfer Protocol)超 ...
springmvc工作流程_springMVC工作原理及流程详细讲解
简述本文主要介绍springMVC工作原理. 工作原理客户端发送HTTP请求,DispatcherServlet控制器拦截到请求,调用HandlerMapping 解析请求对应的Handler,H ...
浏览器渲染页面的原理及流程---------重绘与重排（回流）--优化
浏览器渲染页面的原理及流程浏览器将域名通过网络通信从服务器拿到html文件后,如何渲染页面呢? 1.根据html文件构建DOM树和CSSOM树.构建DOM树期间,如果遇到JS,阻塞DOM树及CSSO ...
Spark SQL架构工作原理及流程解析
Spark SQL架构工作原理及流程解析,spark sql从shark发展而来,Shark为了实现Hive兼容,在HQL方面重用了Hive中HQL的解析.逻辑执行计划翻译.执行计划优化等逻辑. Sp ...
统一用户认证和单点登录和授权的原理与流程
统一用户认证和单点登录和授权的原理与流程 1 前言 2 介绍 2.1 统一用户认证 2.2 单点登录 2.3 授权 3 原理 3.1 统一用户认证原理 3.2 单点登录原理 3.3 OAuth授权原理 ...
二代测序原理及其流程
第二代测序(Next-generation sequencing,NGS)又称为高通量测序,其开创性的引入了可逆终止末端,从而实现边合成边测序,在DNA复制过程中通过捕捉新添加的碱基所携带的特殊标记来 ...

贝叶斯估计原理及流程

似然函数与最大似然估计：

朴素贝叶斯：

贝叶斯估计原理及流程相关推荐

最新文章

热门文章