基于贝叶斯决策理论的分类器

2024-04-01 15:10:12

1.引言

模式识别是根据对象特征值将其分类。d个特征组成特征向量x=[x1,···,xd]T，生成d维特征空间，在特征空间一个x称为一个模式样本。

Bayes决策理论是用概率统计方法研究决策问题。

(1)样本的不确定性：

样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同,故x为随机向量。

特征选择的不完善引起的不确定性；

测量中有随机噪声存在。

(2)从样本的可分性来看：

当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。

当各类别之间出现混淆现象时，则分类困难。

如下图所示：

这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。

2.贝叶斯决策理论

2.1 贝叶斯公式及分类原则

已知：先验概率P(wi)，类条件概率密度函数P(x|wi)。那么后验概率为：

其中，全概率密度为：

Bayes分类规则是指用后验概率分类。

在C=2也就是两类情况下，如果P(w1|x)>P(w2|x),那么我们就有理由认为x属于w1类别。如果P(w1|x)<P(w2|x),则x属于w2类别。

两类情况下，bayes分类规则有几种等价形式。下面列出最常使用的四种：

根据两类贝叶斯分类情况，我们可以推理到多维问题的贝叶斯分类决策。

2.2 最小错误率的贝叶斯决策

决策规则：

误差概率：

Question1：为什么这样分类的结果平均错误率最小？

在一维特征空间中，t为两类的分界面分成两个区域R1和R2，R1为(－∞, t)，R2为(t,∞)。

R1区域所有x值：分类器判定属于w1类；R2区域所有x值：分类器判定属于w2类。判断错误区域为阴影包围面积。

下面我们来讨论一下错误区域与错误率的问题：

真实状态w2，而把模式x判定属于w1类。
真实状态w1，而把模式x判定属于w2类。

那么，平均错误率P(e)：

决策规则实际上对每个x都使p(e|x)取小者，移动决策面t都会使错误区域增大，因此平均错误率最小。如下图所示：

错误率计算：

多类时，特征空间分割成 R1,Rc，P(e) 由c×(c-1)项组成，计算量大。

用平均正确分类率P(c)计算只有c 项：

典型例题：

已知：正常类P(w1)＝0.9; 异常类P(w2)＝0.1待识别细胞x, 从类条件概率密度曲线上查得p(x|w1)＝0.2;p(x|w2)＝0.4。

解：利用Bayes公式分别计算w1和w2的后验概率:

所以，x应该属于w1类。

这种规则先验概率起决定作用。这里没有考虑错误分类带来的损失。

2.3 最小风险的Bayes决策

把分类错误引起的“损失”加入到决策中去。
决策论中：采取的决策称为动作，用ai表示；每个动作带来的损失，用λ表示。

在这里，我们先统一一下数学符号。

一般用决策表或损失矩阵表示上述三者关系。决策表表示各种状态下的决策损失，如下表：

由于引入了“损失”的概念 (即在错判时造成的损失)，不能只根据后验概率来决策，必须考虑所采取的决策是否使损失最小。对于给定的x决策ai，λ可在c个λ(ai,wj)中选一个，其相应的后验概率为P(wj|x)。

此时的条件期望损失，即后验概率加权和：

在决策论中条件期望损失称为条件风险，即x被判为i类时损失的均值。由于x是随机向量的观察值，不同的x采取不同决策ai，其条件风险的大小是不同的。

决策a可看成随机向量x的函数，记为a(x)，它本身也是一个随机变量。

定义期望风险R：

dx是d维特征空间的体积元，积分在整个特征空间。

期望风险R反映对整个特征空间上所有x的取值都采取相应的决策a(x)所带来的平均风险；而条件风险R(ai|x)只反映观察到某一x的条件下采取决策ai 所带来的风险。

如果采取每个决策行动ai使条件风险R(ai|x)最小，则对所有的x作出决策时，其期望风险R也必然最小。这就是最小风险Bayes决策。

2.4 其他

在基本贝叶斯基础之上还产生了高斯分布的贝叶斯决策、朴素贝叶斯决策等多中高级分类器，可以参考其他参考书籍学习。

基于贝叶斯决策理论的分类器相关推荐

《模式识别原理及工程应用》——第2章基于贝叶斯决策理论的分类器 2.1 分类器的描述方法...
第2章基于贝叶斯决策理论的分类器 2.1 分类器的描述方法分类器是一种计算机程序,它的设计目标是在通过学习后,可自动将数据分到已知类别.分类器常应用在搜索引擎以及各种检索程序中,同时也大量应用于数 ...
[模式识别].(希腊)西奥多里蒂斯第四版笔记2之__基于贝叶斯决策理论的分类器
本章的主要工作在基于训练集的特征向量,估计概率密度函数. 1,贝叶斯决策理论条件概率公式.其中P(w)为先验概率,P(x|w)为类条件概率密度 2,基于正态分布的贝叶斯分类高斯分布和正态分布是最常 ...
Educoder 机器学习第1关：基于贝叶斯决策理论的分类方法
第1关:基于贝叶斯决策理论的分类方法任务描述本关任务:理解朴素贝叶斯的分类思想,完成编程习题. 相关知识为了完成本关任务,你需要掌握:1.贝叶斯,2.朴素贝叶斯. 贝叶斯朴素贝叶斯是贝叶斯决策 ...
【人工智能实验】运用贝叶斯决策理论实现手写数字识别
目录实验二运用贝叶斯决策理论实现手写数字识别一.实验目的二.实验原理 1.分类器原理 2.实现手写数字识别算法原理三.实验结果四.实验总结 1.实验流程 2.分析不同模板对于实验结果的影响 ...
贝叶斯决策理论和概率密度估计方法
贝叶斯决策理论和概率密度估计方法这学期学习了<模式识别>这门课程,刚刚考完试,趁着考试复习的机会把模式识别的基础方法总结了一下了,这一篇的主要内容是转自Angel_Yuaner大神的博客 ...
模式识别—贝叶斯决策理论
绪论模式的两个层次:样本.类别模式的表示:两个识别对象的表示:选择特征来对所识别的对象进行表示,特征选择的好坏对识别对象的难度有很大影响. 每个对象可选择多个特征来表示,这些特征用一个特征向量来 ...
模式识别简介贝叶斯决策理论
============================================================================== 1.模式识别简介 ============ ...
NeurIPS 2021 | CyGen：基于概率论理论的生成式建模新模式！
关注公众号,发现CV技术之美本文转自微软研究院AI头条. 编者按:在概率论中,两随机变量的一个联合分布可由一个变量的边缘分布和对应条件分布确定,也可对称地由另一变量的边缘分布和另一方向的条件分布确定 ...
《MATLAB 神经网络43个案例分析》：第5章基于BP_Adaboost的强分类器设计——公司财务预警建模
<MATLAB 神经网络43个案例分析>:第5章基于BP_Adaboost的强分类器设计--公司财务预警建模 1. 前言 2. MATLAB 仿真示例一 3. MATLAB 仿真示例二 ...

最新文章

热门文章