【模式识别】最小风险贝叶斯决策
贝叶斯公式
如果每一类在空间中互不相交,有清晰的决策边界,那么就没有必要用贝叶斯方法了。这种叫做确定统计分类。
如果这些类相互之间有重合,新的样本的特征落到一个重合区域,那么就要判断该样本属于某一类的概率。从而通过最小风险或最小错误率的公式来计算具体属于哪一类。这种叫做不确定统计分类。
我们的训练数据是样本特征和样本标签。所以我们已知的是属于某一类的样本具有的特征。即知道某一类样本的统计分布特性。
这种分类方法就变成从这些数据中来推测具有某特征的样本属于哪一类。
把每一类样本整体出现的概率记做先验概率
P(wi)P(w_i) P(wi)
把某一类中的某样本特征出现的概率记做类条件概率
P(x∣wi)P(x|w_i) P(x∣wi)
把我们要计算某一个具体的样本特征值属于哪一类的概率记做后验概率
P(wi∣x)P(w_i|x) P(wi∣x)
用贝叶斯公式表示:
P(wi∣x)=P(x∣wi)P(wi)P(x)P(w_i|x)=\frac{P(x|w_i)P(w_i )}{P(x)} P(wi∣x)=P(x)P(x∣wi)P(wi)
首先来看右边,分布是全部样本空间的x,分子是属于某一个类的x的数量,所以两者的比值就是属于wiw_iwi类的xxx的数量占总xxx的数量的大小。(放到这里就是,数量就是可能性的概念,可能性有多少。是所有类别中,x的可能性之和)
贝叶斯分类特点:
- 先验概率是计算后验概率的基础,是通过大量统计来得到的,这就是大数定理。而有人有说许多事件的发生不具有可重复性,所以先验概率只能根据对置信度的主管判断。
- 那么就以新获得的信息对先验概率进行修正。
- 分类决策一定存在错误率,即使错误率很低。
贝叶斯决策
不同的贝叶斯分类器有不同的贝叶斯决策
最小错误率分类器
这种最简单,就是把样本划分到后验概率大的那一类去。
P(wi∣x)=maxP(wj∣x),j∈[1,c]P(w_i|x)=maxP(w_j|x),j \in [1,c] P(wi∣x)=maxP(wj∣x),j∈[1,c]
则x∈wix \in w_ix∈wi
因为对于每一类,P(x)P(x)P(x)都相等,所以
P(x∣wi)P(wi)=max[P(x∣wj)P(wj)]P(x|w_i)P(w_i)=max[P(x|w_j)P(w_j)] P(x∣wi)P(wi)=max[P(x∣wj)P(wj)]
则x∈wix \in w_ix∈wi
分析错误率
P(e)=∫−∞+∞P(error,x)dx=∫−∞+∞P(error∣x)P(x)dxP(e)= \int_{-\infty}^{+\infty}P(error,x)dx=\int_{-\infty}^{+\infty}P(error|x)P(x)dx P(e)=∫−∞+∞P(error,x)dx=∫−∞+∞P(error∣x)P(x)dx
xxx取不同值时,错误率的积分
P(error∣x)=∑j=1cP(wj∣x)−maxP(wj∣x)P(error|x)=\sum_{j=1}^cP(w_j|x)-maxP(w_j|x) P(error∣x)=j=1∑cP(wj∣x)−maxP(wj∣x)
最小错误率和最大后验概率两者等价。
对于最小错误率规则,确定了最小错误率也就确定了决策边界。也就是两个后验概率相等的点。
g(x)=P(w1∣x)−P(w2∣x)g(x)=P(w_1|x)-P(w_2|x) g(x)=P(w1∣x)−P(w2∣x)
g(x)>0,x∈w1g(x)>0,x \in w_1g(x)>0,x∈w1
g(x)<0,x∈w2g(x)<0,x \in w_2g(x)<0,x∈w2
但是最小错误率贝叶斯决策不一定是线性
最小风险错误率
该患者在出现症状后,实为H7N9的概率为(症状已经出现了)
同理:
则他出现症状是H7N9的概率为
但是如果出现误诊后,后果很严重,但是误诊为感冒则问题不大。所以仅仅考虑识别错误率不对,还要考虑后果。这就是最小风险错误率。
条件风险
R(ai∣x)=∑j=1cλijP(wj∣x)R(a_i|x)=\sum_{j=1}^c \lambda_{ij}P(w_j|x) R(ai∣x)=j=1∑cλijP(wj∣x)
对样本xxx,采取决策aja_jaj的总风险
接上题,R是损失风险
最后取风险最小的决策,那就是诊断为H7N9。
朴素贝叶斯
在是用贝叶斯决策时,有两个条件必须是已知的:
- 各种样本出现的整体先验概率
- 各类中取得特征空间中某个点的类条件概率
先验概率可以从大量数据统计中得到,类条件概率需要从数据统计中估计,根据某一类的样本在各个维度上的特征值来估计其概率分布情况。这个概率分布,是一个各个特征维度上的联合概率分布,如果各个维度不独立,则估计很困难,如果各个特征相互独立,就叫朴素贝叶斯分类器。
正态分布下的贝叶斯决策
假设类条件概率符合二维正态分布,也就是P(x∣wi)P(x|w_i)P(x∣wi)
式子中有指数,不方便计算,取对数(指数函数是单调的)
中间的−d2ln2π-\frac{d}{2}ln2 \pi−2dln2π与计算无关
考虑不同情况:
每类协方差矩阵相等,先验概率相同
如果每一个样本的协方差矩阵都相等,类内各个特征维度间相互独立,且方差相同。
那么
则
因为先验概率都一样,所以可以 进一步简化
就是这种类型
这种情况被称为最小距离分类器,就是看x到各个类心的距离。
每类协方差矩阵相等,先验概率不同
每类的协方差矩阵都相等,各个特征维度都相互独立,方差相同,但是各类的先验概率不同,此时含有先验概率的项不能删除,就是只能将决策函数简化到
其中
由于xTxx^TxxTx与类别无关,可以删去,则决策函数简化为:
该判别式形式为线性判别形式
决策边界为
最后就是一个一大一小的圆
同一个维度下,各个分量的协方差为0,所以等概率的密度面是一个球面,这种情况下贝叶斯分类器具有线性决策边界。
每类协方差矩阵相等,先验概率相等,各个维度不相互独立
因为协方差矩阵和先验概率均与类别无关,则判别函数可以简化为
就是不能把协方差矩阵省略,所以就不能算(x−ui)T(x−ui)(x-u_i)^T(x-u_i)(x−ui)T(x−ui)了。
分类决策边界仍然是超平面,由于先验概率相等,则继续简化为
这时候这个距离不是欧式距离了,是马氏距离,所以这种情况叫马氏距离最小分类器
马氏距离考虑了特征之间的相关性,并且是尺度无关的。
协方差矩阵都相等,各个维度不相互独立,先验概率也不同
这时候的决策函数为
这种情况下,判别函数仍然是线性判别函数。分类决策边界仍然是超平面
此时的分类器是在马氏距离基础上,由先验概率修正的现行分类器,决策边界不与两个类别均值向量的连线垂直,也不会通过两个均值向量的中点,并且分类决策边界会偏向先验概率小的那一方。
协方差矩阵不相等,各个维度不相互独立,先验概率也不同
判别函数的二次项是与类别有关的,无法简化掉,所以这不是一个线性问题了。这时候是一个超二次曲面。
总结
只有各个类别样本同分布,贝叶斯分类器才是线性分类器。否则是一个二次项的非线性分类器。
【模式识别】最小风险贝叶斯决策相关推荐
- 机器学习算法(8)——朴素贝叶斯、最小风险贝叶斯决策
最后以巨佬--"贝叶斯大爷"作为基本机器学习算法学习的压轴算法>>>>>>>>>>>>>膜拜!!!!! ...
- 模式识别学习笔记——第2章 统计学习方法—2.3最小风险贝叶斯决策
根据场合的不同,我们的决策可能不仅仅是错误率,还有可能是决策错误带来的风险.所谓最小风险贝叶斯决策,就是考虑各种错误造成损失不同时的一种最优决策. 下面用决策论的数学符号表示最小风险贝叶斯决策问题: ...
- 最小错误率的贝叶斯决策和最小风险贝叶斯决策的关系?
1.基于最小错误率的贝叶斯决策 共w1~wn种决策 本质上就是最大后验概率P(wi | X)的贝叶斯决策 公式一:P(wi | X) = P(X | wi)*P(wi) / ∑nj=1 P(X | w ...
- 最小错误率贝叶斯决策的基本思想_机器学习笔记—模式识别与智能计算(四)基于概率统计的贝叶斯分类器设计(贝叶斯决策)...
系列文章: 机器学习笔记-模式识别与智能计算(一)模式识别概述 机器学习笔记-模式识别与智能计算(二)特征的选择与优化 机器学习笔记-模式识别与智能计算(三)模式相似性测度 同类文章: 机器学习笔记- ...
- 机器学习十大经典算法:深入浅出聊贝叶斯决策(贝叶斯公式,最小风险贝叶斯,最小错误贝叶斯)
前言 常听人说,在学习一个东西时,如果能够深入浅出的讲给别人听,才算是真的懂了.最近正好在学模式识别,于是就用它来练笔了.贝叶斯决策(Bayes Decision) 是十大经典机器学习算法之一, ...
- 基于最小错误概率与最小风险的贝叶斯决策
基于最小风险的贝叶斯决策是最小错误概率的一种改进,显然,但对不同类判决的错误风险一致时,最小风险贝叶斯决策就转化成最小错误率贝叶斯决策.最小错误贝叶斯决策可以看成是最小风险贝叶斯决策的一个特例. 最小 ...
- 模式识别:最小错误率贝叶斯决策分类
一.引言 1.用贝叶斯决策理论分类要事先知道两个条件及要求: ①.各类的先验概率: 及特征向量的条件概率密度: 或后验概率: ②.决策分类的类别一定 2.解决的问题: 已知一定数目的样本,设计分类器, ...
- 统计学习 最小错误率与最小风险的贝叶斯决策
[最小错误率的贝叶斯决策] 贝叶斯定理: 以两类问题为例,已知两类别和的先验概率 和 以及类别特征的条件概率 和 现给定一个样本的特征x 分析其属于何种类别? 判别函数: ...
- 最小风险 最小错误 贝叶斯决策 Bayes(实例详解)
文章目录 简介 最小错误率Bayes 例子 分析 最小风险的Bayes决策 最小风险Bayes决策规则: 例子 简介 贝叶斯决策其实是已经被很多博客解释的非常详细了,为了不制造学术垃圾,本来一直没打算 ...
最新文章
- Android窗口管理服务WindowManagerService计算窗口Z轴位置的过程分析
- 【怎样写代码】偷窥高手 -- 反射技术(二):窥视内部
- python获取文件路径
- IT十八掌作业_java基础第八天_多线程
- Apache Spark机器学习.1.7 机器学习工作流示例
- Xming+putty操作篇
- php 两个数组键名比较,php array_intersect_assoc 比较两个数组的键名和键值,并返回交集...
- 移动端material风格日期时间选择器
- [raspberry pi3] 串口线使用
- intellij idea 如何将普通项目转换为maven项目
- Silverlight 4+RIA Services–搜索引擎优化(SEO)
- 2 lt lt 8运算 java_Java移位运算符 lt;lt; gt;gt; gt;gt;gt;_Java_七九推
- 解决Mac终端exit退出不爽
- windows跳转端口
- 苹果cms主动推送php,苹果cmsv10百度主动URL推送教程
- 思科模拟器配置默认路由(下一跳使用端口)
- dz中footer.php在哪找,dz模版制作教程
- 程序员面试中注意事项
- 一位尚德机构网课老师的一天:从容、热爱与“一键全连”
- WARNING: A newer version of conda exists